Softmax 函数及其作用（含推导）

Softmax函数的定义及作用

Softmax是一种形如下式的函数：

P(i)=exp(θTix)∑Kk=1exp(θTkx)

其中 θi 和x是列向量, θTix 可能被换成函数关于x的函数 fi(x) 。

通过softmax函数，可以使得 P(i) 的范围在[0,1]之间。在回归和分类问题中，通常 θ 是待求参数，通过寻找使得 P(i) 最大的 θi 作为最佳参数。

但是，使得范围在[0,1]之间的方法有很多，为啥要在前面加上以e的幂函数的形式呢？参考logistic函数：

P(i)=11+exp(−θTix)

这个函数的作用就是使得P(i)在负无穷到0的区间趋向于0，在0到正无穷的区间趋向于1。同样，softmax函数加入了e的幂函数正是为了两极化：正样本的结果将趋近于1，而负样本的结果趋近于0。这样为多类别分类提供了方便（可以把P(i)看作是样本属于类别i的概率）。可以说，Softmax函数是logistic函数的一种泛化。

softmax的推导

虽然Softmax函数得到的是一个[0,1]之间的值，且 ∑Kk=1P(i)=1 ，但是这个softmax求出的概率是否就是真正的概率？换句话说，这个概率是否严格等于期望呢？为此在这里进行推导。

假设现在有K个类，样本属于类别i的概率为 ϕ(i),i=1,…,K ,由于 ∑ki=1ϕ(i)=1 ,所以只需要前K-1个参数即可： 

ϕi=P(y=i,ϕ),i=1,…,K−1.ϕ(k)=1−∑i=1K−1ϕi

引入一个k-1维列向量 T(y),y=1,…,K−1 ,样本属于第i类则第i行元素为1，其余为0，即： (T(i))i=1  
因为y只能属于1类，故(y不等于k时)T(y)只有一个元素为1，其余元素都为0，则y的期望为： 

E(T(y))i=P(y=i)=ϕi,i≠K

令 βi=logϕiϕK,i=1,…,K ，则有 

eβi=ϕiϕK⇒ϕk=ϕiβi⇒ϕK∑iKeβi=∑iKϕi=1

所以

ϕk=1∑Ki=1eβi

将 ϕK=ϕiβi 代入，有

ϕi=eβi∑Ki=1eβi

由于分母中是求和操作，可以将i换成k，得

ϕi=eβi∑Kk=1eβk

所以实际的期望是具有softmax函数的形式的，当 fi(x)=βi=logϕiϕK 时实际期望与softmax函数严格相等，所求概率为真实值。

在回归和分类问题中，我们假设 βi 与样本x正相关，即 βi=θTix 。由于是估计值，并不是严格意义上的期望，所以用 P(i) 代替 ϕi 。代入上式可得 

P(i)=exp(θTix)∑Kk=1exp(θTkx)

此外Softmax函数同样可用于非线性估计，此时参数 θ 可根据现实意义使用其他列向量替代。在词矢量的计算中1，计算基于Skip-gram的当前词 WI 下输出词 WO 出现的概率为：

p(WO|WI)=exp(vwo′Tvw)∑Ww=1exp(v′Twvw)

vwo′ 为根据当前词矢量 vw 估计出的上下文词矢量。使用softmax函数求得的概率最大值为实际上与当前词矢量在维度空间上最接近的词。