1. 熵&交叉熵
学习机器学习过程中,看到了熵这个概念,在这篇文章中找到了很好理解的解释
https://baijiahao.baidu.com/s?id=1618702220267847958&wfr=spider&for=pc
1.1 熵(entropy)
熵代表的是随机变量或整个系统的不确定性,熵越大,随机变量或系统的不确定性就越大。
在上文的例子中,熵就是在最优化策略下, 猜到颜色所需要的问题的个数。
1.2 交叉熵(Cross Entropy)
交叉熵就是在某种策略下, 猜到颜色所需要的问题的个数。
非真实分布时(每个事件的概率不相等),交叉熵最小的就是最优策略。
2. softmax函数
softmax函数,它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中,使得每一个元素的范围都在 ( 0 , 1 ) (0,1) (0,1)之间,并且所有元素的和为1。
2.1 Softmax 与 Sigmoid 的 异同
Softmax | Sigmoid | |
---|---|---|
公式 | σ ( z ) j = e z j ∑ k = 1 K e z k \sigma(z)_j = \frac{e^{z_j}}{\sum_{k=1}^Ke^{z_k}}\quad σ(z)j=∑k=1Kezkezj | S ( k ) = 1 1 + e − x S(k) = \frac{1}{1+e^{-x}}\quad S(k)=1+e−x1 |
本质 | 离散概率分布 | 非线性映射 |
任务 | 多分类 | 二分类 |
定义域 | 某个一维向量 | 单个数值 |
值域 | [0,1] | (0,1) |
结果之和 | 一定为1 | 为某个正数 |
Sigmoid就是极端情况(类别数为2)下的Softmax