softmax为归一化函数,形式如下:
for j = 1, …, K.
如上式,softmax将元素限制在(0,1)范围内,特点是会凸显最大值并抑制远低于最大值的元素
Python使用numpy计算的示例代码:
import numpy as np
z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])
print(np.exp(z)/sum(np.exp(z)))