softmax、sigmoid激活函数，相对熵、交叉熵、信息熵

sigmoid激活函数的性质：

其中:

• x: 输入
• float：表示浮点型数据
• exp：对其求指数
• f(x): 函数输出

sigmoid激活函数的使用：

• Sigmoid函数用于逻辑回归模型中的二进制分类

• 在创建人造神经元时，Sigmoid函数用作激活函数。

• 在统计学中，S形函数图像是常见的累积分布函数。

softmax激活函数

• x: 输入
• exp：对其求指数
• f(x): 函数输出

softmax激活函数的使用
softmax激活函数应用于多类分类
在构建神经网络中，在不同的层使用softmax函数。

tf.argmax(tf.softmax(logits))

在实际应用中，一般将softmax用于多类分类的使用之中，而将sigmoid用于多标签分类之中，二分类问题时 sigmoid 和 softmax 是一样的，求的都是 cross entropy loss（交叉熵损失），而 softmax 可以用于多分类问题
参考：
详解sigmoid与softmax， 多分类及多标签分类

相对熵
相对熵（KL散度）：描述两个概率分布P和Q差异的一种方法。KL散度=交叉熵+信息熵

!](https://img-blog.csdnimg.cn/20200605103443593.png)
交叉熵
个人理解：用确定性更大的概率乘以确定性更小的存储因子

信息熵
是信息量的期望，它不是针对每条信息，而是针对整个不确定性结果集而言的，信息熵越大，事件不确定性就越大，单条信息只是或多或少的影响着结果集概率的分布。