《scikit-learn机器学习》决策树① - 算法原理+信息增益【信息熵的具体运算】

最新推荐文章于 2022-10-01 13:00:52 发布
最新推荐文章于 2022-10-01 13:00:52 发布
阅读量682 收藏
点赞数 1
分类专栏： 学习ML+DL 文章标签： 机器学习 算法 scikit-learn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42198265/article/details/121384043
版权

文章目录

1、决策树原理

选择一个特征进行测试，然后根据这个测试再分为多个子数据集，最后一步步划分数据集。
一个很典型的图片：
在这里插入图片描述

但是我们如何选择哪些特征分布，以什么为标准呢？
由于要解决这个问题，我们引入了信息增益

2、信息增益

2.1 信息熵

信息熵这个词汇是由香农于1948年提出的，这个词是香农从热力学中借用过来的。
我们可以根据信息熵的一个变化幅度去衡量我们到底先使用哪个特征作为第一个，哪个作为后一个。.

2.2 公式

在这里插入图片描述

2.3 例子

在这里插入图片描述

2.4 具体实例

在这里插入图片描述
在这里插入图片描述

2.5 结论

在这里插入图片描述

2.6 sklearn作者寄语

在这里插入图片描述

Bessie_Lee_gogogo
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
决策树学习
weixin_50197893的博客
12-04 565
决策树在机器学习中是比较经典的一个算法，它既可作分类算法，也可作回归算法，scikit-learn提供了tree模块，该模块提供了DecisionTreeClassifier类和DecisionTreeRegressor类，分别用于处理分类和回归问题，其目的是创建一种模型，从数据特征中学习简单的决策规则（类似于if-else），从而预测一个目标变量的值。 ID3算法：ID3（Iterative Dichotomiser3）算法可以说是决策树算法中最著名的代表。我们会不停的敲if, else if, els
sklearn -分类算法 -决策树
tom199611的博客
08-12 202
信息熵（香农提出） = 每一种类别的概率 * log 概率 ，求和 ，再乘以 -1 信息熵 衡量不确定性，信息熵越小，不确定性也越小。信息熵越大，不确定性越大。 信息增益 ： 表示得知特征A的信息之后，信息熵减少的程度。 = 初始信息熵 – A条件信息熵 初始信息熵： 只看目标值 。是（9/15）和否（6/15） 初始信息熵 = -1 （9/15log 9/15+6/15* log...
机器学习——有监督——决策树（分类树）相关原理及sklearn实现（信息熵、基尼系数、信息增益、特征重要程度的量化）
huangguohui_123的博客
04-14 7654
一、决策树原理 决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。 我们来简单了解一下决策树是如何工作的。决策树算法的本质是一种图结构，我们只需...
【scikit-learn】决策树
12-23 2347
目录决策树决策树的分类相关概念决策树的构造特征选择：决策树的生成：决策树的裁剪决策树的优缺点优点缺点决策树生成算法以ID3算法为例实战 决策树 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处，熵值为0。是一种有监督学习。决策树呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程。学习时，利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策模型进行分类。 决策树的分类 决策树可以分为两类，主要取决于它目标变量的类型。
机器学习--决策树（sklearn）
weixin_50918736的博客
07-05 1312
机器学习--决策树（sklearn）
机器学习之决策树——信息熵、信息增益、信息增益率、基尼指数、决策树的基本实现、Sklearn实现决策树及参数详解、绘制决策树
weixin_47408244的博客
08-15 1387
信息熵、信息增益、信息增益率、基尼指数的实现， 决策树基本代码、绘制决策树的实现， 基于Sklearn实现决策树并使用红酒数据进行实战。
基于Python常用机器学习算法的简洁实现之决策树decision-tree.zip
最新发布
05-12
scikit-learn是一个强大的机器学习库，提供了多种机器学习算法的接口，包括决策树。 1. **决策树的基本概念** - **树结构**：决策树由节点（nodes）和边（edges）组成，节点代表决策或结果，边代表特征或属性。 -...
python机器学习算法决策树和聚类分析实验报告
05-11
9. Python 语言在机器学习中的应用：Python 语言是机器学习领域的常用语言，提供了多种机器学习库和框架，如 scikit-learn、TensorFlow、Keras 等。 10. 机器学习的应用领域：机器学习广泛应用于各个领域，如计算机...
信息熵决策树.zip
12-04
Python 是实现决策树算法的常用语言，它提供了如scikit-learn这样的强大机器学习库。在scikit-learn中，可以使用`DecisionTreeClassifier`类来构建决策树模型。该库提供了训练模型、预测和模型评估等函数。同时，它...
Python机器学习 实验- 决策树1
08-18
**Python机器学习实验——决策树1** 实验的目标是理解和掌握决策树模型的原理以及如何用Python实现决策树算法，用于预测。决策树是一种基于概率分析的直观决策分析方法，因其结构形似树枝而得名。在机器学习领域，...
python机器学习决策树算法-相关代码
11-23
以上就是关于"python机器学习决策树算法-相关代码"的详细解析，涵盖了决策树的基本概念、算法原理、Python实现以及数据处理和模型评估的要点。通过学习和实践这些内容，你可以提升自己在机器学习领域的技能。
机器学习--sklearn（决策树）
qq_53086801的博客
08-26 4590
机器学习--sklearn（决策树）
决策树原理以及在sklearn中的使用
m0_64336780的博客
10-01 1万+
ID3：信息增益标示按某种特性分类后,剩余特性的信息熵的大小 的衰减程度,信息熵越小, 证明已经分好的类别就更加的纯粹单一C4.5：选择了信息增益比替代信息增益；由于ID3算法会倾向于 选取特征值较多的特征 进行分类(因为这样会让信息增益很大),比如:区分每个学生的成绩 采用学生的学号进行区分,那么每个学生对应一个学号,则按照学 号分的话,每个分组中就只有一个样本,并且信息熵为0,显然这个 不是我们想要的,因此我们引入了信息增益比,每次选择分类特性 的时候,根据信息增益比进行选取。
一条SQL搞定信息增益的计算
weixin_33860553的博客
04-20 746
欢迎大家关注腾讯云技术社区-博客园官方主页，我们将持续在博客园为大家推荐技术精品文章哦~ 周东谕，2011年加入腾讯，现任职于腾讯互娱运营部数据中心，主要从事游戏相关的数据分析和挖掘工作。 信息增益原理介绍 介绍信息增益之前，首先需要介绍一下熵的概念，这是一个物理学概念，表示“一个系统的混乱程度”。系统的不确定性越高，熵就越大。假设集合中的变量X={x1,x2…xn}，它对应在集合的概率分别是...
决策树scikit-learn重要参数详解
小狐狸
04-28 4157
这里写目录标题决策树与SKlearn工具包参数汇总参数详解不纯度计算方法参数：criterion**sklearn提供了两种选择：**基尼系数与信息熵比较重要参数： random_state & splitterrandom_statesplitter剪枝参数：1、max_depth2、min_samples_leaf3、min_samples_split4、max_features5、m...
机器学习之算法决策树（分类）——通过例子说明信息熵的计算方法
PY_smallH的博客
12-11 5709
决策树采用的是信息熵或者Gini系数来作为分类标准。 信息熵公式： Gini系数公式： 一般构造一个分类器(sklearn.tree.DecisionTreeClassifier)，默认参数criterion有{“gini”, “entropy”}, 其中default=”gini”。这两个计算公式不一样而已。 我在这里计算的是信息熵的公式，另外的一个也都一样，换一个公式而已。 我们在提到概率问题的时候都会有一个前提假设，假设这些变量或者特征都是相互之间没有关系的，就不会存在组合的情况，不然就没办法计算概率
用python实现求信息增益，进行特征选择。
语雨听风的博客
09-23 6364
使用python语言，实现求特征选择的信息增益，可以同时满足特征中有连续型和离散型属性的情况。 师兄让我做一个特征选择的代码，我在网上找了一下，大部分都是用来求离散型属性的信息益益，但是我的数据是同时包含离散型和连续型属性的，所以这里实现了一下。 代码块 import numpy as np import math class IG(): def init(self,X,y...
跟我一起学scikit-learn18：决策树算法
u011436316的博客
06-15 1691
决策树（Decision Tree，简称DT）是最经典的机器学习模型之一，它的预测结果容易理解，易于向业务部门解释，预测速度快，可以处理离散型数据和连续型数据。
python 计算信息熵和信息增益
热门推荐
Avalon
08-18 4万+
1. 计算信息熵def calc_ent(x): """ calculate shanno ent of x """x_value_list = set([x[i] for i in range(x.shape[0])]) ent = 0.0 for x_value in x_value_list: p = float(x[x == x_value].shape[0]) / x.sh
基于信息熵进行划分的决策树算法python 并画图
10-20
基于信息熵进行划分的决策树算法是一种常用的机器学习算法，用于解决分类问题。下面是一个使用Python实现并绘制图形的示例。 首先，我们需要导入所需的库。在Python中，可以使用Scikit-learn库来实现决策树算法，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Bessie_Lee_gogogo

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值