LR与SVM比较

转载 2018年04月15日 21:29:31

相同点

第一,LR和SVM都是分类算法。

第二,如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。

第三,LR和SVM都是监督学习算法。

第四,LR和SVM都是判别模型。


判别模型会生成一个表示P(Y|X)的判别函数(或预测模型),而生成模型先计算联合概率p(Y,X)然后通过贝叶斯公式转化为条件概率。简单来说,在计算判别模型时,不会计算联合概率,而在计算生成模型时,必须先计算联合概率。或者这样理解:生成算法尝试去找到底这个数据是怎么生成的(产生的),然后再对一个信号进行分类。基于你的生成假设,那么那个类别最有可能产生这个信号,这个信号就属于那个类别。判别模型不关心数据是怎么生成的,它只关心信号之间的差别,然后用差别来简单对给定的一个信号进行分类。常见的判别模型有:KNN、SVM、LR,常见的生成模型有:朴素贝叶斯,隐马尔可夫模型。


不同点

第一,本质上是其loss function不同。

逻辑回归的损失函数是采用log loss:


SVM的损失函数是采用hinge loss:



不同的loss function代表了不同的假设前提,也就代表了不同的分类原理,也就代表了一切!!!从目标函数看来,lr 采用的logistic loss 和 svm 采用的 hinge loss function 思想都是增加对分类影响较大点的权重,减少那些与分类相关不大点的权重。但是两个方法处理的方法不同: LR采用一个sigmod的映射函数,通过这样的非线性映射,大大降低了离分类平面点远的权重 ; SVM 采用的是一个hinge loss function,通过上图可以看到,对于那些离超平面比较远的点,直接设为0了,也就是说直接忽视,只考虑那些对分类平面有影响的点,这些点就是我们经常听到的支持向量。

  • 逻辑回归方法基于概率理论,假设样本为1的概率可以用sigmoid函数来表示,然后通过极大似然估计的方法估计出参数的值。
  • 向量机基于几何间隔最大化原理,认为存在最大几何间隔的分类面为最优分类面。

第二,支持向量机只考虑局部的边界线附近的点,而逻辑回归考虑全局(远离的点对边界线的确定也起作用,虽然作用会相对小一些)。

深入了解了LR和SVM的原理过后,会发现影响SVM决策面的样本点只有少数的结构支持向量,当在支持向量外添加或减少任何样本点对分类决策面没有任何影响;而在LR中,每个样本点都会影响决策面的结果。用下图进行说明:

支持向量机改变非支持向量样本并不会引起决策面的变化:


逻辑回归中改变任何样本都会引起决策面的变化:


因为上面的原因,得知:线性SVM不直接依赖于数据分布,分类平面不受一类点影响;LR则受所有数据点的影响,如果数据不同类别strongly unbalance,一般需要先对数据做balancing。

第三,在解决非线性问题时,支持向量机采用核函数的机制,而LR通常不采用核函数的方法。

这个问题理解起来非常简单。分类模型的结果就是计算决策面,模型训练的过程就是决策面的计算过程。通过上面的第二点不同点可以了解,在计算决策面时,SVM算法里只有少数几个代表支持向量的样本参与了计算,也就是只有少数几个样本需要参与核计算即kernal machine解的系数是稀疏的)。然而,LR算法里,每个样本点都必须参与决策面的计算过程,也就是说,假设我们在LR里也运用核函数的原理,那么每个样本点都必须参与核计算,这带来的计算复杂度是相当高的。所以,在具体应用时,LR很少运用核函数机制。

第四,线性SVM依赖数据表达的距离测度,所以需要对数据先做normalization,LR不受其影响。

目标函数不同导致得到的超平面不同。考虑这样一个数据集,有一万个正例在实轴上+1这一点,10个负例在-1。

SVM得到的分类面(其实应该是点)就是原点,因为这里距离最近的正负例相等;而logistic regression会很接近-1,因为右边正例多。

第五,SVM的目标函数就自带正则!!!(目标函数中的1/2||w||^2项),这就是为什么SVM是结构风险最小化算法的原因!!!而LR必须另外在损失函数上添加正则项!!!

以前一直不理解为什么SVM叫做结构风险最小化算法,所谓结构风险最小化,意思就是在训练误差和模型复杂度之间寻求平衡,防止过拟合,从而达到真实误差的最小化。未达到结构风险最小化的目的,最常用的方法就是添加正则项,后面的博客我会具体分析各种正则因子的不同,这里就不扯远了。但是,你发现没,SVM的目标函数里居然自带正则项!!!再看一下上面提到过的SVM目标函数:

SVM目标函数:

第六,LR可以给出每个点属于每一类的置信度(注意非概率),而SVM只能分类。

第七,Linear SVM依赖penalty的系数,实验中需要做validation


逻辑回归,决策树,支持向量机 选择方案

逻辑回归 vs 决策树 vs 支持向量机分类是我们在工业界经常遇到的场景,本文探讨了3种常用的分类器,逻辑回归LR,决策树DT和支持向量机SVM。 这三个算法都被广泛应用于分类(当然LR,DT和SV...
  • Oliverkehl
  • Oliverkehl
  • 2015-12-01 15:23:51
  • 6379

LR 与 SVM 的相同和不同

原文地址 在大大小小的面试过程中,多次被问及这个问题:“请说一下逻辑回归(LR)和支持向量机(SVM)之间的相同点和不同点”。第一次被问到这个问题的时候,含含糊糊地说了一些,大多不在点子上,后来被问...
  • Yan456jie
  • Yan456jie
  • 2016-09-13 13:00:09
  • 2846

SVM与LR的比较

两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与...
  • zhangxueyang1
  • zhangxueyang1
  • 2017-01-07 16:43:27
  • 212

LR与SVM的异同

LR与SVM的相同点: *LR和SVM都是分类算法 *如果不考虑核函数,LR和SVM都是线性分类算法,也就是说他们的分类决策面都是线性的。 *LR和SVM都是监督学习算法 *LR和SVM都是判别模...
  • zhangyu132
  • zhangyu132
  • 2016-08-06 20:35:59
  • 2218

深度学习笔记——基于传统机器学习算法(LR、SVM、GBDT、RandomForest)的句子对匹配方法

句子对匹配(Sentence Pair Matching)问题是NLP中非常常见的一类问题,所谓“句子对匹配”,就是说给定两个句子S1和S2,任务目标是判断这两个句子是否具备某种类型的关系。本文用机器...
  • mpk_no1
  • mpk_no1
  • 2017-06-01 22:41:38
  • 1562

【机器学习】Linear SVM 和 LR 的联系和区别

今天看到别人问这个问题,突然想到自己也对这两个经典的线性分类器没有太过区别其异同,所以特此翻阅了一下资料总结了一番。以下理论部分主要参考了LR与SVM的异同这篇文章 LR和Linear SVM的相同点...
  • haolexiao
  • haolexiao
  • 2017-04-16 03:05:11
  • 3069

[kaggle实战] Digit Recognizer -- 从KNN,LR,SVM,RF到深度学习

之前看了很多入门的资料,如果现在让我来写写,我觉得我会选择”数字识别(digit recognizer)”作为例子,足够有趣,而且能说明很多问题。kaggle是个实践的好地方,python是门方便的语...
  • Dinosoft
  • Dinosoft
  • 2016-02-27 02:11:23
  • 10082

SVM 准备工作(SVM vs LR)

一、SVM vs LR综述 两种方法都是常见的分类算法,从目标函数来看,区别在于逻辑回归采用的是logistical loss,svm采用的是hinge loss。这两个损失函数的目的都是增加对...
  • xiewenbo
  • xiewenbo
  • 2016-03-29 16:51:14
  • 1076

LR VS SVM VS RF

LR 与SVM 不同 1.logistic regression适合需要得到一个分类概率的场景,SVM则没有分类概率 2.LR其实同样可以使用kernel,但是LR没有sup...
  • u010398562
  • u010398562
  • 2017-10-12 13:34:14
  • 227

cs229 斯坦福机器学习笔记(二)-- LR回顾与svm算法idea理解

LR回顾 LR是机器学习入门的第一道坎,总结一下,Linear Regression 和logistic Regression都是属于GLM,套了logistic之后,输出结果就变成一个概率了,los...
  • Dinosoft
  • Dinosoft
  • 2015-06-14 23:11:55
  • 9832
收藏助手
不良信息举报
您举报文章:LR与SVM比较
举报原因:
原因补充:

(最多只允许输入30个字)