sigmoid激活函数的性质:
其中:
- x: 输入
- float:表示浮点型数据
- exp:对其求指数
- f(x): 函数输出
sigmoid激活函数的使用:
-
Sigmoid函数用于逻辑回归模型中的二进制分类
-
在创建人造神经元时,Sigmoid函数用作激活函数。
-
在统计学中,S形函数图像是常见的累积分布函数。
softmax激活函数
- x: 输入
- exp:对其求指数
- f(x): 函数输出
softmax激活函数的使用
softmax激活函数应用于多类分类
在构建神经网络中,在不同的层使用softmax函数。
tf.argmax(tf.softmax(logits))
在实际应用中,一般将softmax用于多类分类的使用之中,而将sigmoid用于多标签分类之中,二分类问题时 sigmoid 和 softmax 是一样的,求的都是 cross entropy loss(交叉熵损失),而 softmax 可以用于多分类问题
参考:
详解sigmoid与softmax, 多分类及多标签分类
相对熵
相对熵(KL散度):描述两个概率分布P和Q差异的一种方法。KL散度=交叉熵+信息熵
!](https://img-blog.csdnimg.cn/20200605103443593.png)
交叉熵
个人理解:用确定性更大的概率乘以确定性更小的存储因子
信息熵
是信息量的期望,它不是针对每条信息,而是针对整个不确定性结果集而言的,信息熵越大,事件不确定性就越大,单条信息只是或多或少的影响着结果集概率的分布。