机器学习面试必知：SVM和LR的关系

面试中经常会被问到的问题

与线性可分的情形一样，对于线性不可分的概率分布，我们可以用最小化正则化的误差函数来重新表示SVM。这也使得我们能够强调与logistic回归模型之间的相似性和差别。
我们已经看到对于边缘边界正确的一侧数据点，即满足$y_n{t}_n\ge 1$。对于其余的数据点${\xi }_n=1-y_n{t}_n>0$所以我们能得到$$\sum _{n=1}^N{E}_{SV}(y_n{t}_n)+\lambda ||w|{|}^2$$ $$E_{SV}(y_n{t}_n)=[1-y_n{t}_n{]}_{+}$$
$E_{SV}(\cdot )$是铰链hinge误差函数，$[x{]}_{+}$表示x的正数部分
再来看LR回归，为了方便与SVM对比，取 t ∈ { − 1 , 1 } t\in \left\{ -1,1\right\} t∈{−1,1}那么$$p(t=1|y)=\sigma (y)$$$$p(t=-1|y)=1-\sigma (y)=\sigma (-y)$$所以我们能得出$$p(t=1|y)=\sigma (ty)$$取似然函数的负对数形式并带正则化作为误差函数$$\sum _{n=1}^N{E}_{LR}(y_n{t}_n)+\lambda ||w|{|}^2$$$$E_{LR}(y_n{t}_n)=\mathrm{l}\mathrm{n}(1+exp(-y_n{t}_n))$$为了方便对比我们对$E_{LR}$除以$\mathrm{l}\mathrm{n}(2)$,四种误差函数对比如下所示，蓝色是SVM的hinge，红色是LR，黑色是误分类，绿色是平方误差

我们可以看到hinge与LR形式相近，但hinge在大于1时产生稀疏解。hinge和LR函数都可以看成是误分类误差函数的连续近似。有时候也可以用一个平方误差去近似，但平方误差会着重强调那些被正确分类的在正确一侧距离决策边界较远的点。如果这些点是误分类的，那么也会被赋予较高的权值。因此我们对于最小化分类错误率来说，更好的选择是一个单调递减的函数。

LR与SVM的区别，和大家分享：
1、LR可以输出属于每一类别的概率，SVM则不行
2、LR是基于概率最大化推导的，而SVM是基于最大化几何间隔推导的
3、SVM的决策超平面只有少量的支撑向量决定，而LR所有的样本都参与决策面的更新，所以SVM对异常数据并不敏感，LR更加敏感
4、SVM依赖数据表达的距离测度，所以需要先对数据进行标准化处理，但是LR不需要。