Linear SVM 和 LR 有什么异同以及分别在什么情况下使用？

最新推荐文章于 2021-12-09 18:00:09 发布
最新推荐文章于 2021-12-09 18:00:09 发布
阅读量2.6k 收藏 8
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lemonaha/article/details/55254545
版权

Linear SVM 和 LR 有什么异同

  • Linear SVM和LR都是线性分类器
  • Linear SVM不直接依赖数据分布，分类平面不受一类点影响；LR则受所有数据点的影响，如果数据不同类别strongly unbalance一般需要先对数据做balancing
  • Linear SVM依赖数据表达的距离测度，所以需要对数据先做normalization；LR不受其影响
  • Linear SVM依赖penalty的系数，实验中需要做validation
  • Linear SVM和LR的performance都会收到outlier的影响，其敏感程度而言，谁更好很难下明确结论

以上来源 https://www.zhihu.com/question/26768865/answer/34048357

Liblinear支持两个热门的二元线性分类器：常规逻辑回归LR和线性SVM。给出一组实例标签（xi,yi）,i=1,…l,xi∈Rn，yi∈{-1,1}，这两个分类器使用了不同的损失算法解决下面的约束优化问题。其中，C是大于0的惩罚因子。对于SVM来说，有两个常用的损失算法max（1-yiwTxi,0）和max（1-yiwTxi,0）2，分别指的是L1-SVM和L2-SVM。对LR来说，损失算法是log（1+e-yiwTxi）,得自一个概率模型。在有些案例中，分类器的判别式还要包含一个偏差项b。Liblinear通过对每

最低0.47元/天 解锁文章
lemonaha
关注
专栏目录
训练推荐模型：使用SVM或LR等经典推荐算法训练推荐模型
AI天才研究院
08-04 1558
在许多推荐系统中，训练推荐模型是非常重要的一个环节。如何训练一个好的推荐模型至关重要。由于不同的应用场景和不同类型的数据集，推荐算法也会不断更新迭代，因此推荐系统工程师也要时刻关注推荐算法的最新进展。本文将以经典的协同过滤算法——基于用户相似性的推荐算法矩阵分解（ALS）、基于物品相似性的推荐算法SVD++以及树形结构推荐算法HATN对推荐模型进行介绍并使用scikit-learn库中的实现来训练推荐模型。
谈谈linear regression 和 SVM
baidu_36316735的博客
02-27 4867
线性分类是一个简单而又非常实用的概念。因为其速度快，在工业界中广泛应用。 SVM一般是学习机器学习接触的又一个学习方法，非常fasion，学术界研究大热，数学上有严格的证明。但是由于神经网络的优异表现，风头渐渐不如以前。 这里就一个知识点进行自己小小总结。 线性回归和SVM有什么区别呢。网上很多人直接拿出这张图给你。例如知乎上这个答案 https://www.zhihu.com/qu
SVM和LR的适用情况，SVM中核函数的作用。
zz2230633069的博客
09-27 791
在Andrew Ng的机器学习视频中提到SVM和logistic回归的适用情形： m是样本数，n是特征的数目 1、如果n相对于m来说很大，则使用logistic回归或者不带核函数的SVM（线性分类） 2、如果n很小，m的数量适中（n=1-1000，m=10-10000），使用带核函数的SVM算法 3、如果n很小，m很大（n=1-1000,m=50000+）,增加更多的特征，然后使用logistic...
LR与SVM 简单应用
aimicm的博客
04-11 406
LR与svm 简单应用 算法定义 基本实践 算法定义 LR算法 逻辑回归 logistic回归是一个分类算法，是一种广义的线性回归分析模型，它常用处理处理二元分类以及多元分类问题 逻辑回归问题的起点： 线性回归模型是表征了输出向量Y和输入样本矩阵x之间的线性关系，其线性关系的参数为θ，此时模型的预测是的值域为（-∞，+∞），并且我假设y 是连续的。如果最终我们需要y 的结果是一个有限集的，比如...
SVM 准备工作(SVM vs LR)
03-29 1852
一、SVM vs LR综述 两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减
【机器学习】Linear SVM 和 LR 的联系和区别
热门推荐
haolexiao的专栏
04-16 1万+
今天看到别人问这个问题，突然想到自己也对这两个经典的线性分类器没有太过区别其异同，所以特此翻阅了一下资料总结了一番。以下理论部分主要参考了LR与SVM的异同这篇文章 LR和Linear SVM的相同点 都是监督的分类算法 都是线性分类方法 另外这里需要说的就是LR也是可以加核函数的至于为什么不用，是原因的，后面再说。 都是判别模型 判别模型和生成模型是两个相对应的模型。 判别模型是直接生成一个
机器学习 - - - LR和SVM的联系与区别？
julyedu_7的博客
12-09 2334
解析一 LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 区别： 1、LR是参数模型，svm是非参数模型，linear和rbf则是针对数据线性可分和不可分的区别； 2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss，这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。 3、SVM的处理方法是只考虑support vectors，也就是和分类最相关的少
LR和SVM的相同和不同
weixin_30675967的博客
03-25 252
之前一篇博客中介绍了Logistics Regression的理论原理：http://www.cnblogs.com/bentuwuying/p/6616680.html。 在大大小小的面试过程中，经常会有这个问题：“请说一下逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点”。现在整理一下，希望对以后面试机器学习方向的同学有所帮助。 （1）为什么将LR和SVM放在一起来进行比较？ ...
LR模型及推导
07-03
BAT算法工程师深入详细地讲解LR模型及推导，带你轻松入门机器学习!
SVM的原理和示例
alivefour的博客
08-28 1047
1.SVM概念 支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面。对于线性可分两类数据，支持向量机就是条直线(对于高维数据点就是一个超平面), 两类数据点中的的分割线有无数条，SVM就是这无数条中最完美的一条，怎么样才算最完美呢？就是这条线距离两类数据点越远，则当有新的数...
LR与SVM的异同
weixin_34109408的博客
12-11 162
原文：http://blog.sina.com.cn/s/blog_818f5fde0102vvpy.html 在大大小小的面试过程中，多次被问及这个问题：“请说一下逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点”。第一次被问到这个问题的时候，含含糊糊地说了一些，大多不在点子上，后来被问得多了，慢慢也就理解得更清楚了，所以现在整理一下，希望对以后面试机器学习方向的同学有所帮助（至...
SVM原理详解
cyy2learn的博客
08-07 2357
转自：http://www.cnblogs.com/nsnow/p/4562363.html 支持向量机通俗导论（理解SVM的三层境界） 作者：July 。致谢：pluskid、白石、JerryLead。 说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。 声明：本文于2012年便早已
［机器学习］LR与SVM的联系和区别
qq_35945399的博客
07-23 8650
LR与SVM的相同点： 1、都是有监督的分类算法； 2、如果不考虑核函数，LR和SVM都是线性分类算法。 它们的分类决策面都是线性的。 3、LR和SVM都是判别式模型。 LR、SVM、决策树等判别式模型直接生成一个表示P(Y|X)或者Y=f(X)的判别函数。而生成式模型，例如朴素贝叶斯（NB），隐马尔可夫链（HMM），都是先计算联合概率分布P(Y,X)，然后通过贝叶斯公式转化为P(Y|X...
LR和SVM的比较
caoxuemei12的博客
08-07 707
LR与SVM的不同： 1.损失函数不同： LR的损失函数是交叉熵，SVM损失函数是合页损失函数 2.样本点对模型的作用不同： SVM中，只有关键的样本点（支持向量）对模型结果有影响，而LR中，每一个样本点都对模型有影响。 3.输出不同： LR可以对每个样本点给出类别判断的概率值（基于后验概率），SVM无法做到。 4.防过拟合能力不同： SVM的损失函数就自带正则（损失函数中的1...
Libsvm和Liblinear各自特点和使用经验
kcsdnprac的博客
02-19 1510
Libsvm和Liblinear都是国立台湾大学的Chih-Jen Lin博士开发的，Libsvm主要是用来进行非线性svm 分类器的生成，提出有一段时间了，而Liblinear则是去年才创建的，主要是应对large-scale的data classification，因为linear分类器的训练比非线性分类器的训练计算复杂度要低很多，时间也少很多，而且在large scale data上的性能和非
林轩田--机器学习技法--SVM笔记1--线性支持向量机(linear+SVM)
rikichou的专栏
11-07 3650
林轩田--机器学习技法--SVM笔记1--线性支持向量机(linear+SVM)
Svm算法原理及实现
weixin_30847865的博客
05-21 1434
Svm（support Vector Mac）又称为支持向量机，是一种二分类的模型。当然如果进行修改之后也是可以用于多类别问题的分类。支持向量机可以分为线性核非线性两大类。其主要思想为找到空间中的一个更够将所有数据样本划开的超平面，并且使得本本集中所有数据到这个超平面的距离最短。 一、基于最大间隔分隔数据 1.1支持向量与超平面 在了解svm算法之前，我们首先需要了解一下...
LR推导
march_on的专栏
10-14 6644
二分类逻辑回归：假设样本x，预测值y∈{1,0}y\in\{1,0\}。p(Y=1|x)=exp(wx+b)1+exp(wx+b)=π(x) p(Y=1|x)=\frac{exp(wx+b)}{1+exp(wx+b)} = \pi(x) p(Y=0|x)=11+exp(wx+b)=1−π(x) p(Y=0|x)=\frac{1}{1+exp(wx+b)}=1-\pi(x) 损失函数： L=∏i
机器学习算法深度解析：LR、GBDT、K-means与SVM
资源摘要信息:"本资源集包含了多种机器学习算法的教学和实践材料，涵盖了从基础的线性回归到复杂的学习方法如支持向量机(SVM)和梯度提升决策树(GBDT)。此外，还包含了逻辑回归和聚类算法K-means，这些都是数据科学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值