- softmax函数的运算涉及到了指数函数的计算,故对于计算机而言就存在了一个 “溢出问题”
- 因为指数函数的增长容易变得非常大,这些超大值之间进行除法,结果会出现 nan(not a number 不确定)
- 计算机在进行数值运算时,数值的大小必须在4字节或者8字节的有效数据带宽内
故需要对softmax函数进行改进:
- 在分子分母同乘以C常数,结果不变。
- 故在softmax函数的指数运算中,加上或者减去某个常数并不会改变运算的结果(实际上是乘法)
- 一般情况下,在指数上减去输入信号中的最大值,进行溢出抑制
import numpy as np
def softmax(x):
if x.ndim == 2:
x = x.T # 转置
x = x - np.max(x, axis=0)
y = np.exp(x) / np.sum(np.exp(x), axis=0)
return y.T
x = x - np.max(x) # 溢出对策
return np.exp(x) / np.sum(np.exp(x))
a = np.array([0.3, 2.9, 4.0])
y = softmax(a)
print(y)
print(np.sum(y)) # softmax函数的形式决定
- softmax函数的输出的结果是0~1之间的结果
- softmax函数的输出总和为1(重要性质),因为这个性质softmax函数的输出可以被解释为“概率”