softmax梯度推导以及注意事项

最新推荐文章于 2023-05-30 15:54:38 发布

00000cj

最新推荐文章于 2023-05-30 15:54:38 发布

阅读量410

点赞数

本文链接：https://blog.csdn.net/ooooocj/article/details/117987716

版权

$\large p_{i}=Softmax(z_{i})=\frac{e^{z_{i}}}{\sum_{c=1}^{C}e^{z_{c}}}$

当求 $p_{i}$ 对每个节点 $z_{j}$ 的偏导时，要区分 $i=j$ 和 $i\neq j$ 两种情况。

当 $\boldsymbol{i=j}$ 时

$\large \large \frac{\partial p_{i}}{\partial z_{j}}=\frac{\partial }{z_{j}}(\frac{e^{z_{i}}}{\sum_{c=1}^{C}e^{z_{c}}})=\frac{(e^{z_{i}})'\sum_{c=1}^{C}e^{z_{c}}-e^{z_{i}}(\sum_{c=1}^{C}e^{z_{c}})'}{(\sum_{c=1}^{C}e^{z_{c}})^{2}}$

因为是对 $z_{j}$ 求偏导，分子中对 $\sum_{c=1}^{C}e^{z_{c}}$ 求导时，除了 $e^{z_{j}}$ 项求导结果还是 $e^{z_{j}}$ ，其它项都是常数，求导结果为0。因此

$\large \frac{\partial y_{i}}{\partial z_{j}}=\frac{e^{z_{i}}\sum_{c=1}^{C}e^{z_{c}}-e^{z_{i}}e^{z_{i}}}{(\sum_{c=1}^{C}e^{z_{c}})^{2}}=p_{i}(1-p_{i})$

当 $\boldsymbol{i\neq j}$ 时

$e^{z_{i}^{}}$ 项对 $z_{j}$ 求导结果为0，则

$\large \frac{\partial p_{i}}{\partial z_{j}}=\frac{0\times \sum_{c=1}^{C}e^{z_{c}}-e^{z_{i}}e^{z_{j}}}{(\sum_{c=1}^{C}e^{z_{c}})^{2}}=-p_{i}p_{j}$

因此

$\large {\color{DarkOrange} \LARGE \frac{\partial p_{i}}{\partial z_{j}}=\left\{\begin{matrix} p_{i}(1-p_{i}) & j=i\\ -p_{i}p_{j} & j\neq i \end{matrix}\right.}$

当 $softmax$ 后面接交叉熵损失函数时

$\large L=-\sum_{c=1}^{C}y_{c}log(p_{c})$

其中 $y_{c}$ 是标签，在多分类中，label一般采用one-hot编码，即只有对应的类别值为1，其它类别的值都为0。 $p_{c}$ 就是 $softmax$ 函数的输出，则损失 $L$ 对网络输出 $z_{j}$ 的偏导为

$\large \frac{\partial L}{\partial z_{j}}=-\sum_{c=1}^{C}y_{c}\frac{\partial log(p_{c})}{\partial z_{j}}=-\sum_{c=1}^{C}y_{c}\frac{\partial log(p_{c})}{\partial p_{c}}\frac{\partial p_{c}}{\partial z_{j}}=-\sum_{c=1}^{C}y_{c}\frac{1}{p_{c}}\frac{\partial p_{c}}{\partial z_{j}}$

其中 $\frac{\partial p_{c}}{\partial z_{j}}$ 就是我们上面推导出的 $softmax$ 的偏导，这里同样分为 $c=j$ 和 $c\neq j$ 两种情况，带入得到

$\frac{\partial L}{\partial z_{j}}=-y_{j}\frac{1}{p_{j}}p_{j}(1-p_{j})-\sum_{c\neq j}^{}y_{c}\frac{1}{p_{c}}(-p_{c}p_{j})=-y_{j}(1-p_{j})+\sum_{c\neq j}^{}y_{c}p_{j}$

提取公共项 $p_{j}$

$\large \frac{\partial L}{\partial z_{j}}=p_{j}(y_{j}+\sum_{c\neq j}^{}y_{c})-y_{j}$

前面提到多分类问题中标签采用one-hot编码，则

$\large \sum_{c=1}^{C}y_{c}=1$

$\large y_{j}+\sum_{c\neq j}^{C}y_{c}=1$

则最终结果为

$\large {\color{DarkOrange} \frac{\partial L}{\partial z_{j}}=p_{j}-y_{j}}$

Appendix

因为softmax中采用了指数形式 $\large e^{z_{i}}$ ，当 $\large z_{i}$ 比较大时， $\large e^{z_{i}}$ 可能会出现溢出的情况。解决方法是

$\large softmax(z_{i})=\frac{e^{z_{i}-max(z)}}{\sum_{c=1}^{C}e^{z_{c}-max(z)}}=\frac{e^{-max(z)}\cdot e^{z_{i}}}{e^{-max(z)}\cdot \sum_{c=1}^{C}e^{z_{c}}}$