常见的损失函数，代价函数以及优化算法汇总

在机器学习和深度学习中，我们通常只需要掌握三个步骤就可以完成训练了，拿起数据（特征），搭上模型（目标函数，损失函数，代价函数）,不断优化（优化函数-梯度下降，adam，动量-找到最优的W），就可以完成了

1. 损失函数、代价函数与目标函数
损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。
代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。
目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+正则化，也就是（代价函数+正则化项）。
损失函数：
……0-1损失函数
……平方损失函数
……绝对值损失函数
……对数损失函数
……指数损失函数
……铰链损失函数
代价函数：
……均方误差
……均方根误差
……平均绝对误差
……交叉熵代价函数

2. 损失函数
（1）0-1损失函数（0-1 loss function） -----------感知机

（2）平方损失函数（quadratic loss function）------------线性回归

（3）绝对值损失函数（absolute loss function）

（4）对数损失函数（logarithmic loss function）-----------逻辑回归

（5）指数损失函数（Exponential Loss Function）----------adaboost

（6）铰链损失函数（Hinge loss） ----------SVM
Hinge loss一般分类算法中的损失函数，尤其是SVM。 其中 y=+