1. 对数损失函数
在逻辑回归中使用对数损失函数,也有人称之为对数似然损失函数
其中 h(x)为对该样本类别预测的概率值
2. 平方损失函数
常用于优化最小二乘法,在实际应用中使用均方差损失作为损失函数
3. 指数损失函数(Adaboost)
学习后补充
4.Hinge损失函数(SVM)
学习后补充
5.交叉熵损失函数
由于sigmoid函数的性质,导致σ′(z)在z取大部分值时会很小(如下图标出来的两端,几近于平坦),这样会使得w和b更新非常慢(因为η * a * σ′(z)这一项接近于0)。
当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。