softmax及函数求导

softmax

1. 概念

softmax 的核心在于 soft，而 soft 有软的含义，与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素，是指上都是求的 hardmax。

softmax 定义：
$$softmax(z_i)=\frac{e^{z_i}}{{\sum }_{j=1}^n{e}^{z_j}}$$
其中，$z_i$ 为第i个结点的输出值，n为输出结点的个数，即分类的类别个数。通过 softmax 函数就可以将多分类的输出值转换为范围在[0, 1]和为 1 的概率分布。

- 引入指数形式的优点：

指数函数曲线呈现递增趋势，最重要的是斜率逐渐增大，也就是说在 x 轴上一个很小的变化，可以导致 y 轴上很大的变化。这种函数曲线能够啊ing输出的数值拉开距离。

- 引入指数形式的缺点：

指数函数的曲线斜率逐渐增大虽然能够将输出值拉开距离，但是也带来了缺点，当 $z_i$ 值非常大的话，计算得到的数值也会变得非常大，数值可能会溢出。通常针对数值溢出的方法，是将每一个输出值减去输出值中的最大值。

2. softmax 函数求导

拥有三个输出结点的 softmax 函数的计算图：

对每一项求偏导，其中 i 表示输出结点的编号。
$$\frac{\partial {\text{y}}_i}{\partial z_i}=\frac{\partial }{\partial z_i}(\frac{e^{z_i}}{\sum _{j=1}^n{e}^{z_j}})$$

以 $y_1$ 为例：
$$y_1=\frac{e^{z_1}}{e^{z_1}+e^{z_2}+e^{z_3}}$$

$$\frac{\partial {\text{y}}_1}{\partial z_1}=\frac{\partial }{\partial z_1}(\frac{e^{z_1}}{\sum _{j=1}^n{e}^{z_j}})$$

带分式的求导法则：
$$\frac{\partial {\text{y}}_1}{\partial z_1}=\frac{e^{z_1}\sum _{j=1}^n{e}^{z_j}-{(e^{z_1})}^2}{{(\sum _{j=1}^n{e}^{z_j})}^2}$$

提取一个公因式$e^{z_1}$：
$$\frac{\partial {\text{y}}_1}{\partial z_1}=\frac{e^{z_1}(\sum _{j=1}^n{e}^{z_j}-e^{z_1})}{{(\sum _{j=1}^n{e}^{z_j})}^2}$$

拆分成两项乘积：
$$\frac{\partial {\text{y}}_1}{\partial z_1}=\frac{e^{z_1}}{\sum _{j=1}^n{e}^{z_j}}\cdot \frac{\sum _{j=1}^n{e}^{z_j}-e^{z_1}}{\sum _{j=1}^n{e}^{z_j}}$$

令 ${\text{p}}_1=\frac{e^{z_1}}{\sum _{j=1}^n{e}^{z_j}}$ ，则：
$$\frac{\partial {\text{y}}_1}{\partial z_1}={\text{p}}_1\cdot \text{ (1 - }{\text{p}}_1)$$