几种损失函数及用途的整理

1. 对数损失函数

在逻辑回归中使用对数损失函数，也有人称之为对数似然损失函数

其中 h(x)为对该样本类别预测的概率值

2. 平方损失函数

常用于优化最小二乘法，在实际应用中使用均方差损失作为损失函数

3. 指数损失函数（Adaboost）

学习后补充

4.Hinge损失函数（SVM）

学习后补充

5.交叉熵损失函数

由于sigmoid函数的性质，导致σ′(z)在z取大部分值时会很小（如下图标出来的两端，几近于平坦），这样会使得w和b更新非常慢（因为η * a * σ′(z)这一项接近于0）。

当我们用sigmoid函数作为神经元的激活函数时，最好使用交叉熵代价函数来替代方差代价函数，以避免训练过程太慢。

6.其他的还有0-1损失函数、 绝对值损失函数

转载于:https://www.cnblogs.com/yeran/p/10526122.html