这篇博客介绍了Softmax函数及其在机器学习中的应用，特别是在分类问题中与SVM的比较。Softmax是一个归一化函数，常用于将模型输出转换为概率分布。交叉熵作为Softmax的损失函数，用于衡量预测概率分布与真实分布的差异。文章还探讨了信息量、熵和相对熵（KL散度）的概念，并指出SVM在满足余量条件后不再关注具体分数，而Softmax则会持续优化其输出概率。
Softmax函数：
其实就是一个简单的归一化函数，即根据比例把之前的数字变形，使变形后的数字比例与原来相同，但是和变成了1:
通常用在计算了W*x之后，把所得的与预测所得的Y归一化，这使得它，与SVM相比有了更加直观的(类似概率概率)输出。
softmax损失函数最经常使用的是交叉熵函数(cross-entropy)：
交叉熵（Cross Entropy）：
主要用于度量两个概率分布间的差异性信息。
要了解交叉熵我们先要了解以下几个概念：
信息量
根据八卦常识我们可以得知，一个发生概率很小的事情发生了，往往会携带着很大的信息量，我们以以下两件事来作为例子：
（1）：我和胡歌结婚
（2）：刘亦菲和胡歌结婚
显而易见的是第一件事有更大的信息量，比如说：胡歌为什么和一个素人结婚，他们怎么认识的等等。
由此我们的以得到-log函数在[0,1]上的分布是很是符合我们的常识，所以可以认为一件事x发生所带来的信息量为：
最低0.47元/天 解锁文章
扫一扫
3099
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
