Linear SVM和LR的区别

最新推荐文章于 2020-06-16 11:13:05 发布
最新推荐文章于 2020-06-16 11:13:05 发布
阅读量529 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanghai00/article/details/56849333
版权

1、LInear SVM 和LR都是线性分类器
2、Linear SVM不直接依赖数据分布， 分类平面不受一类点影响；LR则受所有数据点的影响，类别不平衡的情况先对数据做balancing
3、Linear SVM依赖数据表达的距离测度，所以要对数据先做normalization；LR不受其影响；
4、Linear SVM依赖penalty的系数，实验中要做cross-validation选参数
5、Linear SVM和LR的performance都会受到outlier的影响；

feature scaling会是gradient descent收敛的更好
原文网址:https://www.zhihu.com/question/26768865/answer/34048357

King_of_the_sea
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据挖掘（机器学习）面试--SVM面试常考问题
学习、思考、总结
08-20 5万+
应聘数据挖掘工程师或机器学习工程师，面试官经常会考量面试者对SVM的理解。 以下是我自己在准备面试过程中，基于个人理解，总结的一些SVM面试常考问题（想到会再更新），如有错漏，请批评指正。（大神请忽视） 转载请注明出处：blog.csdn.net/szlcw1
机器学习 - - - LR和SVM的联系与区别？
julyedu_7的博客
12-09 2273
解析一 LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 区别： 1、LR是参数模型，svm是非参数模型，linear和rbf则是针对数据线性可分和不可分的区别； 2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss，这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。 3、SVM的处理方法是只考虑support vectors，也就是和分类最相关的少
SVM、SVC、SVR三者的区别
热门推荐
06-16 1万+
支持向量机一直都是机器学习的重要工具，仅仅学会调包的同学一定经常遇到这些缩写SVM、SVR、SVC。使用时经常会用到，但又不知道什么意思，仅仅学会调包调参数不是一个机器学习者的能力体现，但完全搞懂他们的数学公式、学会复现出算法也是没有必要的。 知乎上关于什么是支持向量机的解释有很多，主要为为大家总结一下这三者的区别，同时介绍在python-sklearn中的应用。 1.SVM-支持向量机 什么是超平面 SVM with polynomial kernel 可视化_腾讯视频​v.qq.com 主要功
线性分类模型的区别(SVM,LR)
qq_16236875的博客
04-15 2351
1 SVM和LR的区别 1.1模型解决问题的方式 LinearSVM直观上是trade-off两个量，一个是largemargin ：两类之间可以画多宽的gap，L1错误惩罚：是对所有不满足上述条件的点做L1惩罚。 给定一个数据集，一旦完成LinearSVM的求解，所有数据点可以被归成2类：一个是落在对应分界平面外并被正确分类的点，一类是落在gap里被错误分类的点。...
Linear SVM
kakak_的博客
03-22 1095
线性最大间隔可分SVM存在的问题 线性可分SVM对于存在异常点的非线性数据集是不可使用的 线性可分SVM对部分情况会严重影响我们模型的泛化预测效果 线性分类SVM的软间隔 对训练集里面的每个样本(????????,????????)引入了一个松弛变量????????≥0： 为了使误分类的点尽可能的少，每个松弛变量????????对应了一个代价????????，C是协调两者关系的正则化惩罚系数： 目标函数的优化 将软间隔最大化...
SVM和LR 区别
u014073295的博客
09-24 193
相同点： 1.LR和SVM都是分类算法。 2.如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 3.LR和SVM都是监督学习算法。 不同点： 1. 简单来说，​逻辑回归方法基于概率理论，假设样本为1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值 支持向量机​基于几何间隔最大化原理，认为存在最大几何间隔的分类面为最优分...
LR和 SVM的区别
zhangbaoanhadoop的博客
08-25 1167
一、相同点 　第一，LR和SVM都是分类算法（SVM也可以用与回归） 　第二，如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 　　这里要先说明一点，那就是LR也是可以用核函数的。总之，原始的LR和SVM都是线性分类器，这也是为什么通常没人问你决策树和LR什么区别，你说一个非线性分类器和一个线性分类器有什么区别？ 　第三，LR和SVM都是监督学习算法。 ...
SVM的源代码
04-30
- 训练函数：如`solve_l2r_lr_dual`或`solve_c_svc`，实现SVM的训练过程。 - 预测函数：如`predict`，对新数据进行分类或回归。 - 辅助函数：用于数据预处理、核函数计算、模型保存与加载等。 学习这个源代码，你...
SVR_Neuralnetworks_SVR_matlab常用算法程序_PLR_SVM_
10-03
在这个主题中，"SVR_Neuralnetworks_SVR_matlab常用算法程序_PLR_SVM_"的标题和描述提到了几种广泛使用的机器学习算法，包括支持向量机（SVM）、神经网络、偏最小二乘回归（PLR）以及线性回归（LR）。这些方法在数据...
hogmatlab特征代码-SVM_ML:MATLAB中的线性SVM管道
06-12
按照并更新linear.cpp文件，更改 int check_probability_model ( const struct model *model_) { return (model_-> param . solver_type ==L2R_LR || 进入 int check_probability_model ( const struct model *model...
支持向量机SVM求解鸢尾花分类问题(SVM_iris_(rbf_poly_linear))
02-09
支持向量机SVM求解鸢尾花分类问题,分别用rbf、poly、linear核函数求解
linear SVM
03-21
matlab的linearSVM,用于分类，算了我实在编不下去了，凑个字数。
python 实现SVM，Logistics，以及训练数据归一化处理
05-09
在机器学习领域，支持向量机（Support Vector Machine, SVM）和逻辑回归（Logistic Regression, LR）是两种常见的分类算法。Python作为一种强大的编程语言，提供了丰富的库来实现这两种算法，如Scikit-learn库。此外...
成绩排名预测 非常适合Python和机器学习新手
最新发布
02-15
1. 特征提取：特征分析，然后提取，主要是 6 类特征：借书数量、教室消费...1) 回归模型：Linear Regression，LR 2) 各种分类模型 SVM, LR, Lasso 4. 模型组合：Bagging，AdaBoosting 5. 误差测量：Spearman 相关系数
Linear SVM 和 LR 有什么异同以及分别在什么情况下使用？
lemonaha的博客
02-16 2634
Linear SVM和LR都是线性分类器 Linear SVM不直接依赖数据分布，分类平面不受一类点影响；LR则受所有数据点的影响，如果数据不同类别strongly unbalance一般需要先对数据做balancing Linear SVM依赖数据表达的距离测度，所以需要对数据先做normalization；LR不受其影响 Linear SVM依赖penalty的系数，实验中需要做validati
【机器学习】Linear SVM 和 LR 的联系和区别
haolexiao的专栏
04-16 1万+
今天看到别人问这个问题，突然想到自己也对这两个经典的线性分类器没有太过区别其异同，所以特此翻阅了一下资料总结了一番。以下理论部分主要参考了LR与SVM的异同这篇文章 LR和Linear SVM的相同点 都是监督的分类算法 都是线性分类方法 另外这里需要说的就是LR也是可以加核函数的至于为什么不用，是原因的，后面再说。 都是判别模型 判别模型和生成模型是两个相对应的模型。 判别模型是直接生成一个
LR 如何使数据点对分类的影响权重不同
jasonwang_的博客
04-30 1515
最近看到不少讨论Linear SVM和LR的区别的内容，很多都提到两者的损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。下面就是对于这句话的个人理解。 先说SVM，比较好理解，在用拉格朗日乘子法得到其“对偶问题”后，因为需要满足KKT条件，对任意训练样本(xi,yi)，总有拉格朗日乘子 = 0或yif(xi) = 1。若拉格朗日乘子大于0，则必有
机器学习十八：支持向量机（LinearSVM）
AI玩转智能
11-08 2081
AI 菌 很多人（包括AI菌）第一次听说 SVM 时都觉得它是个非常厉害的东西，但其实 SVM 本身“只是”一个线性模型。 只有在应用了核方法后，SVM 才会“升级”成为一个非线性模型 不过由于普遍说起 SVM 时我们都默认它带核方法，所以我们还是随大流、称 SVM 的原始版本为 LinearSVM。 不过即使“只是”线性模型，这个“只是”也是要打双引号的
Implement linear SVM model for binary classification task and use autograd to optimize it by Pytorch.
03-31
Sure, here's an example implementation of a linear SVM model for binary classification using PyTorch and autograd for optimization: ``` import torch import torch.nn as nn import torch.optim as optim class LinearSVM(nn.Module): def __init__(self, input_dim): super(LinearSVM, self).__init__() self.weights = nn.Parameter(torch.randn(input_dim)) self.bias = nn.Parameter(torch.randn(1)) def forward(self, x): linear_output = torch.dot(x, self.weights) + self.bias return linear_output # Define training data and labels train_data = torch.tensor([[1.0, 2.0], [2.0, 3.0], [3.0, 4.0], [4.0, 5.0]]) train_labels = torch.tensor([1, 1, -1, -1]) # Initialize model and optimizer svm = LinearSVM(input_dim=2) optimizer = optim.SGD(svm.parameters(), lr=0.01) # Define training loop num_epochs = 1000 for epoch in range(num_epochs): svm.train() optimizer.zero_grad() output = svm(train_data) loss = torch.mean(torch.clamp(1 - train_labels * output, min=0)) loss.backward() optimizer.step() # Evaluate model on test data test_data = torch.tensor([[1.0, 1.0], [2.0, 2.0], [3.0, 3.0], [4.0, 4.0]]) svm.eval() test_predictions = torch.sign(svm(test_data)).detach().numpy() print(test_predictions) ``` In this example, we define a `LinearSVM` class that inherits from `nn.Module` and implements a linear SVM model with a single linear layer. We use `nn.Parameter` to define the model's weight and bias parameters, which are then optimized using the `optim.SGD` optimizer. In the training loop, we compute the SVM loss using the hinge loss function and backpropagate the gradients using autograd. We then update the model parameters using the optimizer's `step` method. Finally, we evaluate the trained model on some test data by passing it through the model and taking the sign of the output (since the SVM is a binary classifier). We use `detach().numpy()` to convert the output to a numpy array for easier interpretation. Note: This is just a simple example implementation of a linear SVM in PyTorch using autograd. In practice, you may want to use a more robust implementation or library for SVMs, such as LIBLINEAR or scikit-learn.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值