softmax函数是多分类问题中的关键，它将实数向量转换为概率分布。与logistic回归（二分类）不同，softmax用于多分类，输出每个类别的概率。损失函数通常采用交叉熵，衡量预测概率与真实标签的匹配程度。交叉熵包括熵和相对熵（KL距离），用于评估预测效果。在训练模型时，优化目标是减小这个损失。
维基给出的解释，softmax函数，也称指数归一化函数，它是一种logistic函数的归一化，可以将
其中分母指归一化的作用，取指数的原因，第一是模拟max的行为，即使得大的数值更大，第二是，方便运算求导
在概率论中，softmax函数输出与logistic函数有着密切的联系
对于两类的softmax函数可以转化为logistic函数的形式
最显著的区别logistic回归是针对二分类问题，softmax是针对多分类问题，logistic可以看作是softmax的特例
二分类器要最大化数据集的似然值等价于将每个数据点输出推向正无穷（正类）和负无穷（负类）
损失函数为
对于给定的测试输入
其中
其代价函数可以写为
softmax使用的代价函数为交叉熵，这里用了指示函数，求导的话，可以定义ont-hot向量
用
使用损失函数可以描述真实分布于估计分布的交叉熵。交叉熵可以看作熵与相对熵之和
这里的相对熵也叫做KL距离，在信息论中
引用学习：
CSDN-专业IT技术社区-登录blog.csdn.net
扫一扫
1506
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
