激活函数-softmax

softmax

Softmax函数定义如下，其中a_k是分类器前级输出单元的输出。i表示类别索引，总的类别个数为n。y_k表示的是当前元素的指数与所有元素指数和的比值(函数的输出结果)。通过Softmax函数就可以将多分类的输出数值转化为相对概率，而这些值的累和为1，常用于神经网络输出层。表达式：
$${\mathrm{y}}_{\mathrm{k}}=\frac{\exp (a_k)}{\sum _1^n\exp (a_i)}$$
示例：

使用numpy实现softmax函数：

# softmax函数
def softmax(a):
    exp_a = np.exp(a)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

但是如上这种softmax函数非常容易出现溢出的问题，因为指数函数很容易发生指数爆炸现象。故做如下修改：
$$\begin{gathered} y_k=\frac{\exp (a_k)}{\sum _1^n\exp (a_i)} \\ =\frac{C\exp (a_k)}{C\sum _1^n\exp (a_i)} \\ =\frac{\exp (a_k+\log C)}{\sum _1^n\exp (a_i+\log C)} \\ =\frac{\exp (a_k+C^{‘})}{\sum _1^n\exp (a_i+C^{‘})} \end{gathered}$$
同样也使用numpy实现：

# 升级版softmax函数
def softmax_plus(a):
    c = np.max(a)
    exp_a = np.exp(a - c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

其实这个就是解决了上限的softmax的移除问题的softmax函数，这两个函数是完全相等的。