【机器学习】支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比，该如何选择（面试回答）？

最新推荐文章于 2024-04-28 14:31:41 发布
最新推荐文章于 2024-04-28 14:31:41 发布
阅读量1.6k 收藏 9
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 决策树 支持向量机 逻辑回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43935696/article/details/126329867
版权

1、支持向量机SVM、逻辑回归LR、决策树DT的直观对比和理论对比，该如何选择？

（1）直观区别：

逻辑回归：逻辑回归的决策边界总是一条直线（或者一个平面，在更高维度上是超平面），逻辑回归方法得到的决策边界总是线性的，并不能得到这里需要的环状边界。因此，逻辑回归适用于处理接近线性可分的分类问题。
在这里插入图片描述

决策树：决策树是按照层次结构的规则生成的，决策规则只是用平行于轴线的直线将特征空间切分，如果边界是非线性的，并且能通过不断将特征空间切分为矩形来模拟，那么决策树是比逻辑回归更好的选择。

在这里插入图片描述

SVM：SVM是通过把特征空间映射到核空间，使得各个类别线性可分。先提升特征的维度，在高纬度用一个平面来分割数据（线性分类器），这个平面映射回原来的二维特征空间，就能得到一个环状的决策边界。

在这里插入图片描述

（2）理论区别

  • 模型复杂度：SVM 支持核函数，可处理线性非线性问题，既可以用于分类问题，也可以用于回归问题；LR 模型简单，训练速度快，适合处理线性问题，非线性问题需要转换，适用于二分类问题；决策树也能处理非线性特征，但容易过拟合，需要进行剪枝，适用于多分类问题。

  • 损失函数：SVM hinge loss; 带L2正则化的LR对应的是cross entropy loss，不带的是正则化的是log loss; 决策树的损失函数由叶节点上的经验熵决定。

  • 数据量：LR和决策树都适合用于数据量大的情况，SVM在样本数据量较大需要较长训练时间，因此更适用于数据量小的情况

  • 敏感度：LR对缺失值敏感，不能有缺失值；SVM噪声不能太多，对缺失数据敏感；决策树对缺失数据不敏感

R语言分类模型：逻辑回归模型LR、决策树DT、推理决策树CDT、随机森林RF、支持向量机SVM、Rattle可视化界面数据挖掘、分类模型评估指标（准确度、敏感度、特异度、PPV、NPV）
data+scenario+science+insight
03-19 1172
#分类模型（classification） “机器学习”是一门计算机科学学科，指的是机器利用数据进行学习并完成通常需要人类智能的任务的能力。这项技术正在迅速发展:根据Gartner的数据和分析服务，到2022年，超过一半的数据和分析服务将由机器而非人类来完成，比现在多了10%。机器学习能够减少诈骗，事实上，超过60%的人越来越觉得，等待某件事的发生会立即影响他们对潜在品牌的认知——尤其是当涉及到身份或财务欺诈时。 机器学习是一类算法的总称，这些算法企图从大量历史数据中挖掘出其中隐含的规律，并用于...
大数据分析案例-基于SVM支持向量机算法构建手机价格分类预测模型
热门推荐
m0_64336780的博客
03-01 1万+
本研究将利用SVM支持向量机算法构建手机价格分类预测模型，旨在为消费者提供便捷的购买决策支持，同时为企业市场分析和定价策略提供有价值的参考信息。心得与体会：通过这次Python项目实战，我学到了许多新的知识，这是一个让我把书本上的理论知识运用于实践中的好机会。原先，学的时候感叹学的资料太难懂，此刻想来，有些其实并不难，关键在于理解。在这次实战中还锻炼了我其他方面的潜力，提高了我的综合素质。
Python银行风控模型的建立 SVM 决策树 神经网络 三种模型比较
wwww5500的专栏
10-25 1961
Python银行风控模型的建立 SVM 决策树 神经网络 三种模型比较，结果和原文不一样。
逻辑回归、决策树和支持向量机（I）
zj443108444的博客
12-02 1079
分类问题是我们在各个行业的商业业务中遇到的主要问题之一。在本文中，我们将从众多技术中挑选出三种主要技术展开讨论，逻辑回归（Logistic Regression）、决策树（Decision Trees）和支持向量机（Support Vector Machine，SVM）。 上面列出的算法都是用来解决分类问题（SVM和DT也被用于回归，但这不在我们的讨论范围之内）。我多次看到有人提问，对于他的
支持向量机(SVM)和决策树(Decision Tree)简介
Blogs of zcy1221
12-09 8148
选取特征，只是决策树中的 ID3 算法，这种算法倾向于选择取值较多的特征，后续提出的 C4.5 算法，以信息增益率作为特征选择指标，在一定程度上克服了这个缺点. 其他的决策树算法还有 CART，既能做分类也能做回归，感兴趣的读者可以了解一下.好的分类特征意味着对结果更精确的预测. 而预测得越准确，预测结果发生的概率也就越大. 大的概率意味着小的信息量，小的信息量会带来小的信息熵，进而使。终止条件可以这样设置：当前节点的信息熵小于给定的阈值时，就停止递归，取占比最大的类作为当前叶子节点的类别.
逻辑回归 vs 决策树 vs 支持向量机
ming6383的博客
03-20 2100
添加链接描述
决策树与支持向量机的比较：优劣与应用场景
AI天才研究院
12-31 1990
1.背景介绍 决策树和支持向量机都是广泛应用于机器学习和数据挖掘领域的算法。决策树是一种简单易理解的模型，可以用于分类和回归任务，而支持向量机则是一种更复杂的模型，主要用于分类任务。在本文中，我们将对这两种算法进行比较，分析它们的优缺点以及适用场景，并通过具体的代码实例来进行详细解释。 2.核心概念与联系 2.1决策树 决策树是一种基于树状结构的模型，通过递归地划分特征空间来构建。每个节点...
手写数字识别：基于决策树算法，KNN算法，支持向量机（SVM）算法与卷积神经网络（CNN）算法
最新发布
huiyiiiiii的博客
04-28 3649
998年，美国国家标准技术研究所（NIST）发布了MNIST数据集，这是一个用来训练各种图像处理系统的二进制图像数据集，广泛应用于机器学习中的训练和测试。MNIST数据集是从NIST的两个手写数字数据集：Special Database 3 和Special Database 1中分别取出部分图像，并经过一些图像处理后得到的。MNIST数据集共有70000张图像，其中训练集60000张，测试集10000张。所有图像都是28×28的灰度图像，每张图像包含一个手写数字。
PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯和KMEANS聚类用户画像...
拓端研究室TRL
03-13 616
原文链接：http://tecdat.cn/?p=24346在今天产品高度同质化的品牌营销阶段，企业与企业之间的竞争集中地体现在对客户的争夺上（点击文末“阅读原文”获取完整代码数据）。“用户就是上帝”促使众多的企业不惜代价去争夺尽可能多的客户。但是企业在不惜代价发展新用户的过程中，往往会忽视或无暇顾及已有客户的流失情况，结果就导致出现这样一种窘况：一边是新客户在源源不断地增加，而另一方面是辛辛苦苦...
【机器学习与预测分析】分类问题：逻辑回归、决策树、支持向量机
[【机器学习与预测分析】分类问题：逻辑回归、决策树、支持向量机](https://www.malicksarr.com/wp-content/uploads/2021/06/type-of-Machine-Learning-Algorithms-Logistic-Regression.png) # 1. 机器学习与预测...
决策树与支持向量机:比较与应用
AI天才研究院
12-31 1303
1.背景介绍 决策树和支持向量机都是常用的机器学习算法，它们在实际应用中有着广泛的应用。决策树是一种简单易理解的算法，可以用于分类和回归任务，而支持向量机则是一种高效的算法，可以用于解决小样本、高维、不均衡等复杂问题。本文将从以下几个方面进行阐述： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑战 附录常见问题与解答...
LR，SVM，决策树的对比
yanglee0
09-09 5337
首先，LR、SVM、决策树都可以用来做分类的任务。为了做分类，我们试图寻找决策边界线或是一条曲线（不必是直线），在特征空间里区分两个类别。 一、LR，SVM，决策树直观区别 举个例子： 有一个样本，它包含三个变量：x1, x2和target。target有0和1两种值，取决于预测变量x1和x2的值。将数据绘制在坐标轴上。 这就是特征空间，观测值分布于其中。这里因为我们只有两个预测变量/特征，所有特征空间是二维的。你会发现两个类别的样本用不同颜色的点做了标记。我希望我们的算法能计算出一条直线/曲线来分离这个
支持向量机和决策树建模
qq_43337249的博客
03-24 210
Tree as rules: Rule number: 2 [Species=setosa cover=38 (36%) prob=1.00] Petal.Length< 2.35 Rule number: 7 [Species=virginica cover=30 (29%) prob=0.00] Petal.Length>=2.35 Petal.Width>=1.65 Rule number: 6 [Species=versicolor cover=37
LR、决策树、SVM的选择与对比
谁谓荼苦，其甘如荠
03-05 1万+
看到一篇很精彩的文章，特转载于此，转载源：https://www.jianshu.com/p/743cf2357b28 分类问题是我们在各个行业的商业业务中遇到的主要问题之一。本文将逻辑回归（Logistic Regression）、决策树（Decision Trees）和支持向量机（Support Vector Machine，SVM）进行对比找出每个算法的优缺点以及适合的数据形式。 上面列...
【机器学习与深度学习理论要点】17. 决策树分类，支持向量机
yegeli的博客
08-11 1498
决策树分类 决策树分类和决策树回归思想基本相同，不同的是，决策树分类器输出为离散值。通过决策树进行分支处理，最后落到叶子节点上，使用投票的方式来决定预测结果属于哪个类别。 支持向量机 1）什么是支持向量机？ 支持向量机是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化。所谓“支持向量机”，就是下图中虚线穿过的边缘点。支持向量机就对应着能将数据正确划分并且间隔最大的直线。 2）SVM寻找最优边界要求有哪些？ 正确性：对大部分样本都可以正确划分类别； 安全性：支持向量，
《百面机器学习》学习笔记之经典算法(支持向量机SVM、逻辑回归LR、决策树DT)
Thinkobj的博客
04-04 720
支持向量机（Support Vector Machine, SVM）是监督学习方法。将低维的数据映射到高维的核映射空间，寻找“分类超平面”将不同类别的数据区分开。
【SVM、决策树、adaboost、LR对比】
weixin_30485379的博客
08-05 460
一、SVM 1、应用场景： 文本和图像分类。 2、优点： 分类效果好；有效处理高维空间的数据；无局部最小值问题；不易过拟合（模型中含有L2正则项）； 3、缺点： 样本数据量较大需要较长训练时间；噪声不能太多；对缺失数据敏感； 二、决策树 1、应用： 金融和电子商务 2、优点： 同时处理多种类型的数据；适合大量样本的数据；...
机器学习 | SVM与LR的比较
东南风的博客
08-05 1200
       两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归通过非线性映射，大大减小了离分类平面较远的点的权...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better Bench

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值