softmax函数

softmax函数是一个多维映射函数，将n维的向量映射到另一个n维的向量。

比如，将[1, 2, 3, 4, 1, 2, 3]映射到[0.024, 0.064, 0.175, 0.475, 0.024, 0.064, 0.175]，这几个数加起来等于1，可以把它当成概率

可以用于多分类问题，每个数字就是某一类的概率

公式

设一个向量S为$[S_1,S_2,...,S_N]$

用softmax可以把它映射到一个新的向量$[P_1,P_2,...,P_N]$，映射关系如下：

$P_k=\dfrac{\exp(S_k)}{\sum_{k=1}^N \exp(S_k)}$

举例

如图所示，最后输出的ans就是softmax映射结果

Python代码

import numpy as np

z = np.array([1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0])

z_exp = np.exp(z)

p_vec = z_exp / np.sum(z_exp) 

print(p_vec)

特点

softmax非线性映射采用了指数函数，目的是尽量拉大向量中大小分量之间的差距