Softmax原理
Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。
对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布p(z)
。softmax可以用于实现上述结果,具体计算公式为:
s o f t m a x ( x i ) = e x p ( x i ) ∑ j e x p ( x j ) softmax(x_i) = \frac{exp(x_i)}{\sum_j exp(x_j)} softmax(xi)=∑jexp(xj)exp(xi)
对于k维向量z来说,其中 z i ∈ R z_i \in R zi∈R,我们使用指数函数变换可以将元素的取值范围变换到 ( 0 , + ∞ ) (0, +\infin) (0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。
常见的其他归一化方法,如max-min、z-score方法并不能保证各个元素为正,且和为1。
Softmax性质
输入向量x加上一个常数c后求softmax结算结果不变,即:
s o f t m a x ( x ) = s o f t m a x ( x + c ) softmax(x) = softmax(x&#