总结 LR 与 SVM 以及 线性回归的区别与联系

LR 与 SVM 的联系与区别

相同点

1. LR 与 SVM 都是分类算法；

2. LR 与 SVM 都是监督学习算法；

3. LR 与 SVM 都是判别模型；

   关于判别模型与生成模型的详细概念与理解，笔者会在下篇博文给出，这里不详述。

4. 如果不考虑核函数，LR 与 SVM 都是线性分类算法，也就是说他们的分类决策面都是线性的

   这里需要说明的是，LR 也是可以用核函数的，因在 LR 算法里，每个样本点都必须参与决策面的计算过程，也就是说，如果在 LR 里也运用核函数的原理，那么每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。所以在具体应用时，LR 很少运用核函数机制。

不同点

1. 损失函数不同；

2. SVM 只考虑支持向量，而 LR 考虑全局（即远离的点对边界线的确定也起作用）；

3. 在解决非线性问题时，SVM 采用核函数的机制，而 LR 通常不采用核函数的方法；

4. SVM 的损失函数就自带正则（损失函数中的$\frac{1}{2}||w||^2$项），这就是为什么 SVM 是结构风险最小化算法的原因，而 LR 必须另外在损失函数上添加正则项；

5. LR是参数模型，SVM是非参数模型，本质不同。

6. 在训练集较小时，SVM 较适用，而 LR 需要较多的样本。

LR 与线性回归的联系与区别

1. LR 与线性回归都是广义的线性回归；

2. 线性回归模型的优化目标函数是最小二乘，而 LR 则是似然函数；

3. 线性回归在整个实数域范围内进行预测，敏感度一致，而分类范围，需要在[0,1]。逻辑回归就是一种减小预测范围，将预测值限定为[0,1]间的一种回归模型，因而对于这类问题来说，逻辑回归的鲁棒性比线性回归的要好。

4. 逻辑回归的模型本质上是一个线性回归模型，逻辑回归都是以线性回归为理论支持的。但线性回归模型无法做到 sigmoid 的非线性形式，sigmoid 可以轻松处理 0/1 分类问题。

5. 线性回归主要做预测，LR 主要做分类（如二分类）；