刚看到一片自然语言模型的文章中提到了Softmax函数,不甚理解,刚好找到一个解释比较好的,转存下!!!
相关链接:http://ufldl.stanford.edu/wiki/index.php/Softmax_Regression
softmax模型是logistic模型在多分类问题上的推广,logistic 回归是针对二分类问题的,类别标记为{0,1}。
假设函数为:
代价函数:
在softmax模型中,label可以是k个不同的值
对于给定的输入x,我们想用假设函数针对每一个类别j估算出概率值。
假设函数将输出一个k维的向量
请注意这一项对概率分布进行归一化,使得所有概率之和为1.
代价函数: