-
Softmax 函数用于多分类,他将多个神经元的输出的值映射到(0,1)区间内的一个值,,并且映射的所有值相加为1,这些值可以理解为输出的概率,输出概率较大的一般作为预测的值
-
计算公式
分子:fyi 表示第i个类别指数值
分母求和fj 所有元素的指数和softmax作用过程:假如对于神经元的输出值3,1,-3通过softmax函数,映射成为(0,1)之间范围的值,而这些值的累和为1,
P(3∣score)=e3/(e3+e1+e-3)=0.88
P(1∣score)=e1/(e3+e1+e-3)=0.12
P(-3∣score)=e-3/(e3+e1+e-3)=0
计算softmax和数值稳定性
import numpy as np
def softmax(x):
exps=np.exp(x)
return exps/np.sum(exps)
调用
softmax([1,2,3])
输出结果
array([0.09003057, 0.24472847, 0.66524096])
如果我们使用较大的数字(或较大的负数)运行此函数,则会遇到问题,如下所示
调用
softmax([1000,2000,3000])
输出结果
array([nan, nan, nan])
避免此问题的方法,在分子和分母中加入一个常数C,C常取值为logC=max(jfj)
最后得到的式子为
def stablesoftmax(x):
shiftx = x - np.max(x)
exps = np.exp(shiftx)
return exps / np.sum(exps)
stablesoftmax([1000, 2000, 3000])
输出
array([0., 0., 1.])
Softmax函数的导数
输入多个x,输出多个y,那么对于任意y_i对x_j求导,i,j都属于K类别大小集合