softmax，CrossEntropyLoss 与梯度计算公式

cv2022

于 2019-03-07 23:30:06 发布

阅读量2.7k

点赞数 1

分类专栏：神经网络文章标签： Softmax CrossEntropy

本文链接：https://blog.csdn.net/jiongjiongai/article/details/88324000

版权

本文详细介绍了softmax函数的定义及梯度，CrossEntropyLoss的定义，以及在多分类任务中使用softmax时的损失函数梯度计算。同时探讨了Distilling the Knowledge in a Neural Network论文中相关公式的推导。

摘要由CSDN通过智能技术生成

1. $\operatorname {softmax}$ 函数的定义

对于任意一个 $n$ 维向量 $\begin {pmatrix} \vdots \\ {x}_{i} \\ \vdots \end {pmatrix}$ ，定义

$\operatorname {softmax} (X) = \begin {pmatrix} \vdots \\ \dfrac {e ^ {x_i}} { \sum \limits _{k} {e ^ {x_k} } } \\ \vdots \end {pmatrix}$

2. $\operatorname {softmax}$ 的梯度

记 $n$ 维向量 $\widehat {Y} = \begin {pmatrix} \vdots \\ \hat {y}_{i} \\ \vdots \end {pmatrix} = \operatorname {softmax} (X)$ ，则

$\dfrac {\partial } {\partial {x_j}} {\hat {y}_{i} } = \begin {cases} \dfrac {e ^ {x_j} \sum \limits _{k} {e ^ {x_k} } - e ^ {x_j} e ^ {x_j} } { { \left ( \sum \limits _{k} {e ^ {x_k} } \right ) } ^2 }, & i = j \\ \\ - \dfrac { e ^ {x_i} e ^ {x_j} } { { \left ( \sum \limits _{k} {e ^ {x_k} } \right ) } ^2 }, & i \neq j \end {cases} = \begin {cases} \hat {y}_{j} \left ( 1 - \hat {y}_{j} \right ), & i = j \\ - \hat {y}_{i} \hat {y}_{j} , & i \neq j \end {cases}$