softmax单元_关于Softmax的数值稳定性和梯度反向传播

写这篇文章的动机来源于计算机视觉课最近的一次编程作业，要手写CNN的前向传播和反向传播。特地准备把用到的一些技巧以及数学推导都记录下来。该篇此属系列文章之一。另一篇请见：

清流：卷积加速im2col和梯度反向传播​zhuanlan.zhihu.com

---

Softmax的数值稳定性

Softmax函数

定义为

其输入是一个

维向量，

，输出是一个取值为

的离散概率分布，

Softmax函数通常用于多分类问题神经网络的最后一层。把全连接的输出映射为网络表征下该样本属于各个类的概率。用Softmax做映射把一个经典多分类问题变为一个非线性多项式回归问题：把类别的真值预测转换为概率分布的匹配。

交叉熵损失函数(Cross Entropy Loss)经常和Softmax一起使用，定义如下：

在编程实现的时候容易发现直接用Softmax容易出现各种损失函数爆炸、梯度爆炸的问题，这是因为浮点数的范围是有限的。在做指数运算

的时候，如果指数过大，就直接上溢(overflow)了。为了避免上溢的问题，需要对所有的指数项

做一次均值迁移，减去其中的最大项。

然后简单验证一下这个均值迁移操作不影响Softmax后的概率分布。

记

由此可见，对输入

做均值迁移前后Softmax的概率不变。而且不会发生上溢了，因为迁移后有

.

但是迁移会带来另外一个问题，如果

特别大，迁移后的

会特别小，记此最小值为

。对于Softmax的计算虽然没啥问题，但是在算交叉熵的时候就会带来问题。注意到交叉熵公式里有一个对数项

，当

无限小的时候，Softmax对应的概率

将无限接近于

。从而使

，造成下溢(underflow)。为了修正下溢，可以直接添加补偿项

。

Softmax的梯度反向传播

计算损失函数(Cross Entropy Loss)相对于Softmax输入的梯度。

直接算导数需要分情况讨论后半部分导数的问题，所以考虑直接把两部分都别写成Jacobian形式然后直接算矩阵乘积即可，具体地，由链式法则

其中

对

的单元分两种情况：对角单元(

)和非对角单元(

)。

若为对角单元(

)

若为非对角单元(

)

有了上面的公式，

就很好算了

算出

，

两个Jacobian之后，就可以算出

了。

实现代码：

def loss_cross_entropy_softmax(x, y):
    # TO DO
    '''
    Compute the cross entropy loss.
    Args:
        x: The input to the softmax layer, of size [m,1]
        y: The ground truth

    Returns:
        l: The loss
        dl_dx: The loss derivative with respect to x
    '''
    x_shift = x - np.max(x) # [m,1]
    x_exp = np.exp(x_shift) # [m,1]
    y_tilde = x_exp / np.sum(x_exp) # [m,1]
    y_log = np.log(y_tilde+1e-9)    # [m,1]
    l = -np.sum(np.multiply(y_log, y))  # [1,1]
    dl_dy_tilde = -np.multiply(1/(y_tilde+1e-9), y) # [m,1]
    dy_dx = -np.dot(y_tilde, y_tilde.T) + np.diag(y_tilde.flatten())  # [m,m]
    dl_dx = np.dot(dl_dy_tilde.T, dy_dx)

    return l, dl_dx

本篇完结 _(:з」∠)_