机器学习总结（一）：常见的损失函数

这是博主的第一篇博客，mark一下，希望今后能够坚持下去。

博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。

最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）

1. 常见的损失函数
2. 梯度消失和梯度爆炸产生的原因
3. SVM的原理
4. RF，SVM和NN的优缺点
5. 模型调优细节
6. 如何防止过拟合
7. Batch Normalization的思想是什么

常见的损失函数

通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这个目标函数优化的过程。在分类或者回归问题中，通常使用损失函数（代价函数）作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。
损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。通常表示为如下：

$$\begin{equation} \theta ^{*}=argmin\frac{1}{N}\sum_{i=1}^{N}L(y_{i},f(x_{i};\theta_{i} ))+\lambda \Phi (\theta ) \end{equation}$$

1. 0-1损失函数和绝对值损失函数
0-1损失是指，预测值和目标值不相等为1，否则为0：

L(Y,f(X))={ 1,Y≠f