Logistic regression与SVM

最新推荐文章于 2025-08-20 11:20:59 发布

翻译最新推荐文章于 2025-08-20 11:20:59 发布 · 1.7k 阅读

文章标签：

#统计学

统计专栏收录该内容

2 篇文章

订阅专栏

本文探讨了Logistic Regression与Support Vector Machine（SVM）的主要区别。Logistic模型寻找使所有点远离的超平面，而SVM仅关注支持向量，尤其适用于非线性问题。损失函数是两者本质不同的关键，Logistic Regression使用交叉熵损失，SVM则采用间隔损失。在实际应用中，根据特征数量和样本数量，选择不同的模型，如LR在特征与样本数量相近时适用，SVM+高斯核在特征较少的情况下适合样本数量一般的场景。

Logistic模型和SVM很像，现在大概说一下两者的区别

① 寻找最优超平面的方法不同

形象点说，Logistic模型找的那个超平面，是尽量让所有点都远离它，而SVM寻找的那个超平面，是只让最靠近中间分割线的那些点尽量远离，即只用到那些“支持向量”的样本——所以叫“支持向量机”。

② SVM可以处理非线性的情况

比Logistic更强大的是，SVM还可以处理非线性的情况。

③Logistic regression 和 SVM本质不同在于loss function的不同，Logistic regression的损失函数是 cross entropy loss， SVM是hinge loss，Adaboost的损失函数是 exponential loss 。常见的回归模型通常用均方误差 loss。

在Andrew NG的课里讲到过：
1. 如果Feature的数量很大，跟样本数量差不多，这时候选用LR或者是Linear Kernel的SVM
2. 如果Feature的数量比较小，样本数量一般，不算大也不算小，选用SVM+Gaussian Kernel
3. 如果Feature的数量比较小，而样本数量很多，需要手工添加一些feature变成第一种情况

PS: loss function
http://image.diku.dk/shark/sphinx_pages/build/html/rest_sources/tutorials/concepts/library_design/losses.html(下图一和图四来源)

这里写图片描述
loss function -from-李航《统计学习方法》

risk function-from-李航《统计学习方法》

cost function 和 loss function