Loss Function

Loss function 损失函数，是模型对数据拟合程度的某种量化。可以写成$L(X,y,\beta)$ 参数为$\beta$, 待拟合数据是（X,y）.

SVM,LR,Adaboost,以及普通的线性回归方程lasso，ridge,其本质区别便是Loss function。
损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term)。
误差部分用来控制分类的错误率；正则化部分可以理解为惩罚项（penalty），用来调参。
1.Loss term