SVM与LR（逻辑回归）的区别和联系

SVM与LR（逻辑回归）的区别和联系

区别：

1、SVM是非参数估计，本质上是解决二次规划问题；LR是参数估计，本质上是一个极大似然估计问题。

2、SVM被称为结构风险最小化，也就是让模型的泛化能力尽可能好；LR被称为经验风险最小化，也就是最小化分类误差。

3、SVM中使用的分类损失函数是合页损失函数；LR中使用的分类损失函数是交叉熵函数。

4、SVM中只使用支持向量来决定决策边界；LR使用所有的样本来构建分类器。

5、SVM不能直接输出分类概率；LR输出的是分类概率，可以通过阈值判断来确定分类。

6、SVM不适合大量的数据样本；LR对数据样本大小没有要求。

联系：

1、都是经常用到的分类算法。

2、本质上都属于线性分类问题，通过加入核函数就可以解决非线性问题。

3、两者的损失函数都是由正则项加分类误差来构成，调整其中的权重参数就可以对模型泛化能力和分类精度进行权衡，以得到最合适的模型参数。