机器学习原理扫盲系列（三）LR与SVM的联系与区别

联系：
1、都是监督学习的分类算法
2、当不考虑核函数时，LR和SVM都是线性分类模型
3、都是判别模型
区别：

1、本质上的不同是loss的不同，也就是分类原理的不同。

LR的目标是最小化模型分布与经验分布之间的交叉熵
SVM的目标是最大化分类间隔
2、SVM决策边界只考虑分界面附近的点，即支持向量，对异常点相对不敏感，LR考虑全体数据，对异常点敏感。
3、svm不能产生概率值，LR能产生概率值
4、SVM是结构风险最小化，LR是概率风险最小化。
结构风险最小化是对训练误差和模型复杂度之间进行均衡，防止过拟合，减小泛化误差。为了达到结构风险最小化，最常用的方法是加入正则化项。而svm损失函数的第一项就相当于L2正则化。
LR也可以加入正则化项，但原始损失函数不包含正则化项。lr是最小化模型分布与经验分布之间的交叉熵。
5、在解决非线性问题时，svm可以引入核函数，lr一般不使用核函数。
svm只考虑决策面附近的点，只有少数点参与核计算。
lr中，如果使用核函数，则全部的样本点都要参与核计算，计算负责度太高。