sklearn-决策树学习笔记

最新推荐文章于 2024-08-29 16:44:05 发布
最新推荐文章于 2024-08-29 16:44:05 发布
阅读量185 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习 python 决策树
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41979347/article/details/104310445
版权
这篇博客介绍了决策树的基本概念，包括熵、信息增益和Gini系数。详细讨论了决策树的构建过程，特别是剪枝策略，如预剪枝和后剪枝。此外，还列举了sklearn中决策树的关键参数，并提供了一个简单的代码实例来说明其用法。
摘要由CSDN通过智能技术生成
  • 课程资源 ： 传送门
  • 编程软件： VScode
  • 编程语言： python3.6.6

基本概念

  • 熵：描述不确定性的数学量，不确定性越大熵值越大
  • 信息增益：表示特性X使得类Y的不确定性减少的程度，可以用熵值的变化来描述
  • GINI系数： 和熵值的衡量标准类似，计算防止不同：
    G i n i ( p ) = 1 − ∑ k = 1 K p k 2 Gini(p) = 1- \sum_{k=1}^{K} p_k^2 Gini(p)=1
最低0.47元/天 解锁文章
妄语之人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习（三）——决策树（构建方法与分析泛化）
ylin01234的博客
08-22 1746
                                                         决策树 决策树学习是应用最广泛的归纳推理算法之一，学习一种逼近离散值目标函数的方法；树上每个节点指定了对实例的某个属性的测试，该节点的每一个后继分支对应于该属性的一个可能值；分类能力越强，越靠近根节点；任何属性在树的任意路径上最多仅出现一次。 优点： 1）对噪声有很好的健壮性且能...
决策树
sinat_40922336的博客
07-28 885
决策树1 解决什么问题2 决策树建立2.1 特征选择2.1.1 信息增益2.1.2 基尼指数2.2 剪枝预先剪枝后剪枝2.3 ID3算法：使用信息熵增益作为划分准则2.4 C4.5算法：使用信息增益率作为划分准则2.4 CART 模型：使用Gini系数作为划分准则3 算法分析4 例子例1：ID3算法（SNS社区中不真实账号检测）例2: 1 解决什么问题 分类、预测、决策问题 预测模型，它...
利用网页生成决策树
weixin_44778883的博客
03-09 791
直入主题。 先利用sklearn生成‘tree.dot’，然后利用word打开导入网页“http://www.webgraphviz.com”生成即可。 期间遇到查看当前程序运行路径的问题。 from sklearn import tree treee.export_graphviz(clf, out_file='tree.dot') # clf在此已为模型，略 # 查看当前程序运行路径 im...
决策树模型
pc_zkr的博客
10-11 1万+
决策树模型 决策树算法是一种监督学习算法。 什么是决策树/判定输(decision tree)？ 决策树是一个类似流程图的树结构：每个内部节点(分支节点/树枝节点)表示一个特征或属性，每个树叶节点代表一个分类。 构造决策树的基本算法 (1) ID3算法：使用信息增益进行特征选择 (2)C4.5算法：使用信息增益率进行特征选择，克服了信息增益选择特征的时候偏向于特征个数较多的不足。 (3)CA...
sklearn的学习笔记--决策树(1)
qq_44747847的博客
10-23 676
1、决策树 1.1 分类树 在sklearn中所有的机器模型算法都可以简化为三行代码。 对应的代码如下所示： # 第一步骤：实例化一个决策树的模型，其中criterion代表决策树进行决策的准则，有gini和entropy两种方法 clf = tree.DecisionTreeClassifier(criterion="entropy") # 第二步骤：将之前准备好的数据喂入决策树，将其对应的数据和标签成组输入 clf = clf.fit(Xtrain,Ytrain) # 第三步骤：准备通过train_t
python-决策树-学习笔记
Single_minde的博客
02-28 506
sklearn学习笔记，作为数据分析起步的模型算法初学者笔记，方便自己查阅算法。
sklearn学习笔记1：决策树
happylls666的博客
07-20 794
sklearn决策树学习笔记
sklearn库学习------决策树(回归树DecisionTreeRegressor)
weixin_43776305的博客
05-15 7016
重要参数、属性及接口 回归树几乎所有参数、属性、接口都和分类树一样。需要注意的是在回归树中没有标签分布是否均衡的问题，因此回归树没有class_weight参数 criterion：回归树衡量分支质量的指标，有三种标准 输入＂mse＂使用均方误差mean squared error（MSE），父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失 输入＂friedman＿mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的
机器学习笔记2–sklearn之iris数据集
01-27
我将分别使用两种不同的scikit-learn内置算法——DecisionTree（决策树）和kNN（邻近算法），随后我也会尝试自己实现kNN算法。目前为止，我还是在机器学习的入门阶段，文章中暂不详细解释算法原理，如果想了解细节...
机器学习sklearn-朴素贝叶斯
kongqing23的博客
01-25 2632
目录 概述 sklearn中的朴素贝叶斯 高斯朴素贝叶斯 概述 算法得出的结论，永远不是100%确定的，更多的是判断出了一种“样本的标签更可能是某类的可能 性”，而非一种“确定”。 我们通过某些规定，比如说，在决策树的叶子节点上占比较多的标签，就是叶子节点上所有 样本的标签，来强行让算法为我们返回一个固定结果。但许多时候，我们也希望能够理解算法判断出的可能性本身。 每种算法使用不同的指标来衡量这种可能性。比如说，决策树使用的就是叶子节点上占比较多的标签所占的比例（接口pr.
机器学习案例实战：使用sklearn构造决策树模型
qq_14815661的博客
07-07 1167
原创文章,如需转载请保留出处 本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记 一. 决策树复习 参考https://blog.csdn.net/qq_14815661/article/details/94838783 二. 决策树涉及参数 2.1 导入三大件 %matplotlib inline import matplotlib.pyplot as plt import pa...
决策树是什么，主要有哪几大要素构成？
热门推荐
多智时代的博客
05-06 2万+
在生活或工作中，人们经常面临各种各样的选择，很迷茫和困惑，正确的决策非常重要。同样，人工智能研究中也会遇到决策问题，今天就跟大家聊聊人工智能之决策树。决策树（DecisionTree）是一类常见的机器学习方法。决策树（DT）在人工智能中所处的位置：人工智能－＞机器学习－＞监督学习－＞决策树。在机器学习中，决策树（DT）是一个预测（决策）模型，它所代表的是对象属性与对象值之间的一种映射关系。决策树算...
机器学习和深度学习·贝叶斯优化和optuna
2301_80132162的博客
08-29 734
先验：取点取了n个点之后…后验：近似取得极值。
划分聚类方法实现与应用
m0_73676887的博客
08-29 550
划分聚类，通过划分的方式将数据集划分为多个不重叠的子集（簇），每一个子集作为一个聚类（类别）。在划分的过程中，首先由用户确定划分子集的个数kkk，然后随机选定kkk个点作为每一个子集的中心点，接下来通过迭代的方式：计算数据集中每个点与各个中心点之间的距离，更新中心点的位置；最终将数据集划分为kkk个子集，即将数据划分为kkk类。而评估划分的好坏标准就是：保证同一划分的样本之间的差异尽可能的小，且不同划分中的样本差异尽可能的大。
什么是Dropout在机器学习中？
最新发布
2301_79729084的博客
08-29 139
Dropout是深度学习中一种简单而有效的正则化技术，它通过随机丢弃神经网络中的部分神经元来减少模型的复杂性、防止过拟合，并提高模型的泛化能力。在训练过程中，Dropout使得每次前向传播时神经网络的结构都有所不同，这有助于模型学习到更加鲁棒的特征表示。
机器学习/数据分析--通俗语言带你入门随机森林，并用随机森林进行天气分类预测(Accuracy为0.92)
weixin_74085818的博客
08-29 918
Bagging集成核心思想：将数据集集随机分为N份，每一份用一个模型求解，最后将所有模型结果进行投票得出结果。自动采样法自动采样法，可以有放回的采样，假设m个样本的数据集，每一次随机拿去一个样本，然后放回，这样就有概率下一次再被选中，经过m次采样，一次大概有百分之63.2%(数学公式推导而出)的数据被选中。数学公式推导：假设每一个样本被选择的概率为 1/m，这样进行m次选择，没有选择的概率为：​1−1mm1−m1​m当m->∞\infty∞1e≈0.368。e。
焦虑相关症状与错误相关大脑活动的机器学习研究
u011661076的博客
08-28 807
摘要 焦虑症状可能会影响大脑对错误的加工方式。然而，许多研究报告的结果相互矛盾且不可再现，因此大脑对错误的反应(即错误相关负波[ERN]；错误相关正波[Pe])与特定焦虑症状的对应关系仍不清楚。本研究收集了171名被试的16个焦虑维度自述评分，并采集了他们的EEG信号。然后，使用机器学习(1)识别与ERN/Pe增大有关的主要症状；(2)评估传统统计方法的泛化能力。本研究结果表明，ERN的振幅以及其他大脑信号变化编码了与个体错误加工相关的信息。泛化性检查结果表明，改变结果验证方法可以获得反映个体差异和临床有
【代码分享】基于python的文本分类(sklearn-决策树和随机森林实现)
01-27
下面是一个基于Python的文本分类的代码分享，使用了sklearn中的决策树和随机森林算法。 首先，需要安装sklearn库，可以使用以下命令进行安装： ``` pip install -U scikit-learn ``` 然后，导入所需的库和模块： `...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值