【深度学习】交叉熵

信息熵公式

香农（Shannon） - 信息论

$$\begin{array}{rl}H(X)& =E[I(X)]\\ & =E[-log(P(X))]\\ & =\sum _{i=0}^n-p(x_i)\cdot log(p(x_i))\end{array}$$

• $X$​ 为随机变量
• $I(X)$ 为自信息

自信息公式推导

$$\begin{array}{rl}I(X)& =log(\frac{1}{P(X)})\\ & =-log(P(X))\end{array}$$

1. 使用 $P(X)$

• 根据该基本事件 $X$​ 发生
• 自信息量 = $1/P(X)$​
  • 一个基本事件发生的概率越低，代表当其发生时所 “携带的信息” 以及 “使得系统信息熵降低程度” 更大，可以更精准地定位系统状态/熵的变化幅度

2. 选用 $log$ 的原因

• 一条信息的可能性 “含量” 随着内存位数的增加而指数倍增加
  • 系统的实际衡量标准之一就是 “内存” 大小
• 二进制：计算机存储信息
  • $1bit$ 有 { 0 , 1 } \{0, 1\} {0,1} $\to 2^1$ 个状态
  • $Nbits$ 有 $\to 2^N$​ 个状态
• 将信息含量按照存储方式（如二进制）转化为实际的内存大小：$lo{g}_2(2^N)\to Nbits$
  • 整个系统中，每个最小单位所存储的信息量（标准化）： $i=1/2^N$
    $$\begin{array}{rl}N& =lo{g}_{0.5}(i)\\ \to N& =log(i)\\ \to N& =log(2^N)\end{array}$$
  • 对数的换底公式：$lo{g}_{m/n}=\frac{lo{g}_m}{lo{g}_n}$​；因此使用 $lo{g}_2,lo{g}_{10}$ 还是 $ln$ 都不影响其含义

梯度优化

1. 在分类问题中，交叉熵等价于最大似然估计（MLE）

假设有 K 个类别进行分类；使用独热编码（one-hot）作为 $y$

• 交叉熵（单样本，K 分类）：$H(y,\hat{y})=-{\sum }_{j=1}^K{y}_j\cdot log({\hat{y}}_j)$
• 最大似然估计：$l(\theta )={\sum }_{i=1}^{n}logP(y_i|x_i;\theta )$
• 由于多分类问题的独热编码 target，在 $K$ 个类中，只有在正确预测的位置概率才会为 1 否则为 0（与独热编码分布一致），因此将样本的真实分布作为幂，对于系统信息熵无影响
  $$\begin{array}{rl}L& =-\sum _{i=1}^n\sum _{j=1}^K{y}_{ij}\cdot log({\hat{y}}_{ij})\\ l(\theta )& =\sum _{i=1}^n\sum _{j=1}^{K}log({\hat{y}}_{ij}^{y_{ij}})\\ & =\sum _{i=1}^n\sum _{j=1}^K{y}_{ij}log({\hat{y}}_{ij})\\ & \\ & \Rightarrow -L=l(\theta )\end{array}$$

2. 为什么在误差很大的地方，均方误差会难以优化？—— 梯度消失问题

• $MSE=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$
  • 当 ${\hat{y}}_i$ 和 $y_i$ 的误差很大时，$MSE$ 在 ${\hat{y}}_i$ 处的导数也很小
  • 当误差达到一定程度时，该处导数可能会更加趋近于零，从而导致 梯度消失问题 出现，模型无法利用梯度进一步优化损失函数
• 在梯度优化的过程中，令 ${\hat{y}}_i\to y_i$ 则可以降低梯度
  • ${\hat{y}}_i>y_i$，则优化方向为 ${\hat{y}}_{i-}$
  • ${\hat{y}}_i<y_i$，则优化方向为 ${\hat{y}}_{i+}$
  • 因此，虽然 $MSE=\frac{1}{n}{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2\iff \frac{1}{n}{\sum }_{i=1}^n({\hat{y}}_i-y_i{)}^2$，但通过前者的写法，其导数结果即为梯度优化的方向（不需要额外添加负号「$-$」）
    $$\begin{array}{rl}\frac{\partial MSE}{\partial {\hat{y}}_i}& =-2(y_i-{\hat{y}}_i)\end{array}$$

补充定义

信息熵

• 信息熵度量随机变量的不确定性
  • 熵越大，代表随机变量的结果越不确定，则意味着需要更多的信息来降低系统的混乱程度 $\to$ 降低熵
• 根据香农的信息理论，信息熵代表了对随机变量进行压缩时的平均最小编码长度
  • 编码长度越长，代表系统中能够包含更多的信息
  • 也影响了系统在计算机中实际的内存空间大小

随机变量

• 变量的值作为基本事件在基本空间内按照一定概率分布

KL 散度（相对熵）

• 两个概率分布，基于其中一种的编码用于另一种的样本，所产生的额外内存需求：即由于两种分布的差异，导致系统中的熵增
  • 假设 $P(x)$ 代表样本实际分布，$Q(x)$ 代表整体的理论分布
    $$\begin{array}{rl}KL(P||Q)& =\sum P(x)\cdot log\frac{P(x)}{Q(x)}\\ & =\int P(x)\cdot log\frac{P(x)}{Q(x)}\\ & \Rightarrow \sum P(x)\cdot [log(P(x))-log(Q(x))]\\ \because & P(x)为样本实际分布，无变动，对于系统的信息熵无影响\\ \therefore & KL(P||Q)=-\sum P(x)\cdot log(Q(x))\end{array}$$

参考来源

https://www.jianshu.com/p/4e2be2b562b0

https://blog.csdn.net/u012436149/article/details/54287435

https://blog.csdn.net/weixin_43846347/article/details/94363273