softmax函数详解及误差反向传播的梯度求导

摘要

本文给出 softmax 函数的定义, 并求解其在反向传播中的梯度

相关

配套代码, 请参考文章 :

Python 和 PyTorch 对比实现 softmax 及其反向传播

系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981

正文

1. 定义

softmax函数常用于多分类问题的输出层.
定义如下:
$$\begin{gathered} s_i=\frac{e^{x_i}}{{\sum }_{t=1}^k{e}^{x_t}} \\ \sum _{t=1}^k{e}^{x_t}=e^{x_1}+e^{x_2}+e^{x_3}+\cdots +e^{x_k} \\ i=1,2,3,\cdots ,k \end{gathered}$$

编程实现softmax函数计算的时候, 因为存在指数运算 $e^{x_i}$, 数值有可能非常大, 导致大数溢出.
一般在分式的分子和分母都乘以一个常数C, 变换成:

$$\begin{gathered} s_i=\frac{C{e}^{x_i}}{C{\sum }_{t=1}^k{e}^{x_t}}=\frac{e^{x_i+logC}}{{\sum }_{t=1}^k{e}^{x_t+logC}}=\frac{e^{x_i-m}}{{\sum }_{t=1}^k{e}^{x_t-m}} \\ m=-logC=max(x_i) \end{gathered}$$

C的值可自由选择, 不会影响计算结果. 这里 m 取 $x_i$ 的最大值, 将数据集的最大值偏移至0.

2. 梯度求导

考虑一个 softmax 变换:
$$\begin{gathered} x=(x_1,x_2,x_3,\cdots ,x_k) \\ s=softmax(x) \end{gathered}$$
求 s₁ 对 x₁ 的导数:
$$\begin{gathered} s_1=\frac{e^{x_1}}{{\sum }_{t=1}^k{e}^{x_t}}=\frac{e^{x_1}}{sum} \\ sum= \end{gathered}$$