《百面机器学习》学习笔记(七)优化算法
1 有监督学习的损失函数
1.1 分类问题
1.1.1 0-1损失
对二分类问题,Y={1,−1},我们希望 s i g n f ( x i , θ ) = y i sign f(x_i,θ)=y_i signf(xi,θ)=yi,最自然的损失函数是0-1损失,即 L 0 − 1 ( f , y ) = 1 f y ≤ 0 L_{0-1}(f,y)=1_{fy \leq 0} L0−1(f,y)=1fy≤0其中 1 P 1_P 1P 是指示函数(Indicator Function),当且仅当P 为真时取值为1,否则取值为0。该损失函数能够直观地刻画分类的错误率,但是由于其非凸、非光滑的特点,使得算法很难直接对该函数进行优化,因而常使用其他的代理损失函数进行优化
1.1.2 Hinge 损失
参考:
https://blog.csdn.net/hustqb/article/details/78347713
https://blog.csdn.net/fendegao/article/details/79968994
在机器学习中,hinge loss作为一个损失函数(专用于二分类问题),通常被用于最大间隔算法(maximum-margin),而最大间隔算法又是SVM用到的重要算法:SVM与合页损失函数。Hinge损失函数是0-1损失函数相对紧的凸上界,且当fy≥1时,该函数不对其做任何惩罚。 L h i n g e ( f , y ) = m a x { 0 , 1 − f y } L_{hinge}(f,y)=max\{0,1-fy\} Lhinge(f,y)=max{ 0,1−fy}
在使用Hinge loss的分类器的fy时,fy越大,说明样本点离分割超平面越远,即该样本点很容易被分类。但是,我们在选择合适的损失函数进行优化时,没必要关注那些离超平面很远的样本。为此,我们可以通过对距分离超平面的距离选择一个阈值,来过滤这些离超平面很远的样本。这就是Hinge loss的精髓, L h i n g e ( f , y ) = m a x { 0 , 1 − f y } L_{hinge}(f,y)=max\{0,1-fy\} Lhinge(f,y)=max{ 0,1