常用的损失函数
回归：
绝对值损失函数
平方损失函数（常用于线性回归）
分类：
0-1损失函数（感知机）
对数损失函数（用于最大似然估计，等价于交叉熵损失函数）
指数损失函数（Adaboost）
合页损失函数（SVM）
交叉熵损失函数（分类任务）
交叉熵函数和最大似然函数的联系和区别？
区别：交叉熵函数用来描述模型预测值和真实值的差距大小，越大代表越不相近；似然函数 的本质就是衡量在某个参数下，整体的估计和真实情况一样的概率，越大代表越相近。
联系：交叉熵刻意由最大似然函数在伯努利分布的条件下推导出来，或者说最小化交叉熵函数的本质就是对数似然函数的最大化。
sigmoid作为激活函数的时候，为什么要用交叉熵损失函数？而不用均方误差损失函数？
- 因为交叉熵损失函数可以完美解决平方损失函数权重更新过慢的问题，具有“误差大的时候，权重更新快；误差小的时候，权重更新慢”的良好性质。
- sigmoid作为激活函数的时候，如果采用均方误差损失函数，那么这是一个非凸优化问题，不宜求解。而采用交叉熵损失函数依然是一个凸优化问题，更容易优化求解。
K-L散度
即相对熵，是两个概率分布间差异的非对称性度量。
交叉熵：
1606
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
