《百面机器学习》学习笔记（七）优化算法

1 有监督学习的损失函数

1.1 分类问题

1.1.1 0-1损失

对二分类问题，Y={1,−1}，我们希望 $signf(x_i,\theta )=y_i$，最自然的损失函数是0-1损失，即$$L_{0-1}(f,y)=1_{fy\le 0}$$其中 $1_P$ 是指示函数（Indicator Function），当且仅当P 为真时取值为1，否则取值为0。该损失函数能够直观地刻画分类的错误率，但是由于其非凸、非光滑的特点，使得算法很难直接对该函数进行优化，因而常使用其他的代理损失函数进行优化

1.1.2 Hinge 损失

参考：
https://blog.csdn.net/hustqb/article/details/78347713
https://blog.csdn.net/fendegao/article/details/79968994

在机器学习中，hinge loss作为一个损失函数(专用于二分类问题)，通常被用于最大间隔算法(maximum-margin)，而最大间隔算法又是SVM用到的重要算法：SVM与合页损失函数。Hinge损失函数是0-1损失函数相对紧的凸上界，且当fy≥1时，该函数不对其做任何惩罚。 L h i n g e ( f , y ) = m a x { 0 , 1 − f y } L_{hinge}(f,y)=max\{0,1-fy\} Lhinge​(f,y)=max{ 0,1−fy}

在使用Hinge loss的分类器的fy时，fy越大，说明样本点离分割超平面越远，即该样本点很容易被分类。但是，我们在选择合适的损失函数进行优化时，没必要关注那些离超平面很远的样本。为此，我们可以通过对距分离超平面的距离选择一个阈值，来过滤这些离超平面很远的样本。这就是Hinge loss的精髓， L h i n g e ( f , y ) = m a x { 0 , 1 − f y } L_{hinge}(f,y)=max\{0,1-fy\} Lhinge​(f,y)=max{ 0,1