机器学习——入门基础（决策树）

最新推荐文章于 2023-07-04 23:21:09 发布
最新推荐文章于 2023-07-04 23:21:09 发布
阅读量2.2k 收藏 18
点赞数 3
分类专栏： 大数据——机器学习 文章标签： 决策树 机器学习 算法 信息熵 基尼指数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyoupei/article/details/122112412
版权

文章目录

决策树

名词解释
熵一种事物的不确定性
信息为消除不确定的事物，调整概率，排除相关的干扰因素
噪音不能消除对某件事情的不确定性的事物
数据噪音+信息称为数据

熵量化

1、对于不确定的事件作为单位，比如抛硬币，熵值相当于抛几次硬币的不确定性，比如1次，结果有两种，熵为2；两次，结果有4种，熵为4

2、对于等概率均匀分布的事件，熵=log以2为底的m，由m决定，m的等概率不确定情况为8，熵为3；m的等概率不确定情况为4，熵为2；

3、每种情况概率不相等，一般分布，下图就是公式，一般用log2比较多

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U9LHfi73-1640251067005)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E7%AE%97%E5%AD%90%E5%B9%B3%E5%8F%B0%E8%AE%B0%E5%BD%95/image-20211115144540338.png)]

信息量化(信息增益)

举例1：对于ABCD四个选型不知道答案时熵为：2，等概率均匀分布；假设告知C有一半概率正确，那A 1/6 B1/6 C 1/2 D 1/6，此时熵计算为0.5*log以2为底的3(解释下：1/6 * log2(6)+1/6 * log2(6)+1/2 * log2(2)+1/6 * log2(6))，约等于1.79；那此时的信息增益为2-1.79=0.21

所以信息增益按照更官方的应该是叫信息熵-条件熵

ID3决策树-信息增益

获取书上案例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vsafoNSO-1640251067006)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211206205820039.png)]

计算好瓜的熵值

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KhuBes8H-1640251067006)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211207094815280.png)]

下面就是选择哪一个属性作为第一分类，那就是要计算每个属性所带来的信息增益，信息增益越大，下降越快，当然优先选择，至于怎么计算，我们选取色泽这一属性作为案例

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yG9DqtZP-1640251067007)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211207095310884.png)]

计算出熵值后再计算信息增益

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bMFdGqO9-1640251067007)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211207095336368.png)]

上述的Gain公式就是信息熵-条件熵，其他属性也是同理计算，最后我们得出属性"纹理"的信息增益最大，于是它被选为第一划分属性，注意：后面我们是要以这个纹理的三种样本作为基础再次进行剩余属性熵、信息增益的计算，然后选择划分属性，而不是还是按之前算的进行划分，最后的划分结果如下图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vsrNek6E-1640251067008)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211207100139333.png)]

C4.5决策树-增益率

名词解释
增益率避免对取值数目较多属性有所偏好，减少偏好带来影响

增益率的计算公式如下，其实我们发现这个结果就是，算出指标的信息增溢后，除以IVa，dv就是该属性中某个具体值(解释下：比如色泽分为三种，具体值就是其中一种)包含样本数目

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GgNcmglz-1640251067009)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211207101653282.png)]

最后衡量的标准就是先从候选的划分属性中找出信息增益高于平均水平的属性，再比较增益率最高的

CART决策树-基尼指数

名词解释
基尼指数同熵值含义，反映数据集的纯度

下图就是基尼值的公式，实则我们可以知道该指数越小，数据的纯度越高，形象理解：几乎都是一种东西，那占的比例多/概率大，自然基尼指数就小，就是越纯

具体的公式理解就是随机抽取一个数是某个值的概率为pk，不是这个值的概率自然为1-pk，化简过后就是最后的结果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mvwrARr3-1640251067009)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211223143531095.png)]

基尼指数：比如属性a的基尼指数应该如何计算，有如下公式[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hdcL8pdy-1640251067010)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211223144212564.png)]

CART决策树就是选择基尼指数最小的属性作为最优划分属性，他的构建算法和信息增益的决策树计算不同，是要计算出某个属性具体值是还是非(解释下：比如色泽分为三种，具体值就是其中一种，要计算的就是上面基尼值的所提及的两种，1：是这个具体值，2：不是这个具体值)，就是二叉的过程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-67LV2Okg-1640251067010)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211223144545024.png)]

预剪枝

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p4pWZGLy-1640251067011)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211210152600416.png)]

预剪枝的主要功能就是避免过拟合；上述图片是将数据集分为两个部分，上半部分是训练集，下半部分是验证集，对于开始的情况，我们将所有样本假设为好瓜，那自然在验证集当中的精度就是3/7(这里解释下：因为假定都为好的，那验证集一共7个样本，四个为坏的，自然假定正确的也就是精度就是3/7)

现在我们经由之前的信息增益概念，在训练集选取出脐部作为划分属性，那显然脐部有三种类型，从上图的测试集可以看到，凹陷的脐部是1、2、3、14，稍凹的脐部是6、7、15、17，平坦的脐部是10、16，所以这三种，就被分别定义为好、好、坏，此时我们按照验证集去测，发现精度就是5/7，显然5/7 > 3/7

之后我们再计算出凹陷的样本下个划分为色泽，那用色泽划分时却发现，这个时候的精度为4/7，明显小于5/7，所以预剪枝策略禁止该点被划分，同理稍凹下一划分为根蒂，划分后和5/7一样，但是由于预剪枝属于类似贪心的本质，相同值也不给划分，最后的成图如下

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cRJTU69i-1640251067011)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211210173103416.png)]

后剪枝

我们可以很容易的得到一种结论，预剪枝会有欠拟合的风险，我们看如下的图，是根据信息增益来得出的划分结论

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R647gAxK-1640251067011)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211210173408420.png)]

此时我们需要对其修剪，就叫做后剪枝，很容易可以根据预剪枝的4.2图进行计算得出该划分的精度为3/7，我们首先考虑6号点，如果将该分支去除，那么精度经过计算为4/7，明显精度提升，那显然可以剪除，再计算5号点，计算出来精度仍然为4/7，作为不贪心的代表，后剪枝此时不会剪除，会保留，同理，2号被剪除，其他保留，最终的效果图如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1R68F16T-1640251067011)(F:/ZNV/%E7%AC%94%E8%AE%B0%E5%9B%BE%E7%89%87/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E8%A5%BF%E7%93%9C%E4%B9%A6/image-20211210173934185.png)]

决策树中连续值&缺失值

连续值

这里要清楚连续值和离散值的含义，其实连续值在实际方面指的就是可取值的数目不再有限，那这时候计算的准则就可以取中位点作为二分，那就等同变成了离散值的取值

缺失值

缺失值的属性计算的时候不带缺失值，最后计算出的Gain需要乘以一个系数(系数值为 无缺失值数目/总数目)；

针对该列是离散值也可以用众数填充(这里的填充需要相关性最高的列填充)；针对该列是连续值也可以用中位数填充(这里的填充需要相关性最高的列做线性回归进行估计)

友培
关注
  • 3
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
用简单的数学公式理解决策树算法（python）
weixin_38940048的博客
08-11 4357
大家好，这是本居居第一次写博客。 希望以巩固自己的算法知识，以及用一种较为容易理解的方法阐述算法，让广大读者学习借鉴为目的，坚持写下去。 一、决策树算法定义： 百度的官方解释是这样的，决策树是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。 看不懂？难以理解？很迷惑？我也一样，我觉...
机器学习入门——决策树图解(附代码)
01-20
本文介绍了决策树，它和KNN一样，也是一个非参数学习算法；决策树可以解决多分类问题，同时也可以解决回归问题。 决策树具有非常好的可解释性。 决策树 先来看下什么是决策树。决策树描述了一些规则，根据这些规则...
机器学习算法篇：决策树和随机森林算法
qq_46076764的博客
08-23 1200
决策树（Decision tree），通俗来讲就是对数据的特征进行一系列的 if 判断从而分类数据。在数据的特征属性中，指定一些条件，从根节点一层一层决策到子节点，最终所有数据都在叶子节点上。应用：决策树可以做分类，也可以做回归。
树类算法之---决策树Cart树Gini系数就算原理。
Ricky
05-23 1万+
1.介绍 ID3树与CART树的区别： ID3算法中，选择的是信息增益来进行特征选择，信息增益大的特征优先选择。 而在C4.5中，选择的是信息增益比来选择特征，以减少信息增益容易选择特征值多的特征的缺点。 但是无论是ID3还是C4.5，都是基于熵的模型，里面会涉及到大量的对数运算，能不能简化一下？ GINI系数的计算公式： 假设有数据集D，定义GINI指数： GINI(D)=&T...
统计学离散型变量和连续型变量有什么区别？
热门推荐
Python开发工程师
09-06 7万+
离散变量是指其数值只能用自然数或整数单位计算的则为离散变量.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用计数方法取得. 反之,在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值.例如,生产零件的规格尺寸,人体测量的身高,体重,胸围等为连续变量,其数值只能用测量或计量的方法取得. 如果变量可以在某个区间内取任一...
决策树进阶（一）划分准则-公式篇
小白水手的博客
04-07 1376
1、信息熵 H(x)=−∑i=1np(xi)log2p(xi)H(x) = -\sum_{i=1}^n p(x_i)log_2p(x_i)H(x)=−∑i=1n​p(xi​)log2​p(xi​) ---------注意负号 xi表示x取值为xix_i表示x取值为x_ixi​表示x取值为xi​ p(xi)表示值为xi出现的概率p(x_i)表示值为x_i出现的概率p(xi​)表示值为xi​...
决策树公式及知识框架
袁钰琦的博客
09-17 865
西瓜书 简介 思维导图 决策树包含一个根结点、若干个内部结点和若干个叶结点； 叶结点对应决策结果，根结点包含样本全集。 从根结点到叶结点的路径对应了一个判定测试序列。 划分选择 如何选择最优划分属性→结点的纯度最高 信息增益（ID3） 信息熵：度量样本集合纯度的一种指标 Ent⁡(D)=−∑k=1∣Y∣pklog⁡2pk\operatorname{Ent}(D)=-\sum_{k=1}^{|\mathcal{Y}|} p_{k} \log _{2} p_{k}Ent(D)=−k=1∑∣Y∣​pk​log2
数据处理
pengmianpm的博客
11-16 293
数据处理 刘建平博客 https://www.cnblogs.com/pinard/ 强烈推荐 特征选择 尽量不错过一个可能有用的特征，但是也不滥用太多的特征。 1.1 筛选-合适的特征数据 1) 过滤 按照特征的指标，如发散性/相关性，对各个特征评分，设定阈值，选择合适特征。 eg. 方差，相关系数，卡方检验，互信息 2) 包装 根据目标函数，预测效果评分，每次选择部分特征，或者...
离散数据与连续数据
ChengR666的博客
12-23 6928
在一定区间内可以任意取值的数据叫连续数据，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。例如，生产零件的规格尺寸和人体测量的身高和体重和胸围等为连续数据，其数值只能用测量或计量的方法获得。离散变量如果变量值的变动幅度很大，变量值的个数很多，则把整个变量值依次划分为几个区间，各个变量值则按其大小确定所归并的区间，区间的距离称为组距，这样的分组称为组距式分组。例如，如果学生的成绩以五分制计算，则全体学生的成绩可以分为六组，即5、4、3、2、1、0。如果它的域是连续的，它就是连续变量。
对连续值/离散值进行预处理的两种方式（标准化/one-hot化）、反标准化/逆标准化、字符串预处理
あずにゃん梓喵的博客
08-20 3329
tensorflow 2.0 画出model网络模型的拓扑图 tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint） TensorBoard视觉化网络每层权重分布、视觉化网络层结构 MSE(均方误差)、MAE(平均绝对误差) from_logits CE(Cross-Entropy)、BCE(Binary Cross-Ent...
机器学习——决策树之连续值处理
m0_54703897的博客
11-20 3846
连续属性取值数目非有限，无法直接进行划分。这里采用二分法对连续属性进行处理。
机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf
06-27
机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf机器学习入门与实战(scikit-learn和Keras)课件—决策树.pdf机器学习入门与实战(scikit-learn和...
带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.pdf
06-14
带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.pdf带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.pdf带你入门常见的机器学习分类算法——逻辑回归、朴素...
带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.docx
06-14
带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.docx带你入门常见的机器学习分类算法——逻辑回归、朴素贝叶斯、KNN、SVM、决策树.docx带你入门常见的机器学习分类算法——逻辑回归、...
决策树莺尾花教程.docx
最新发布
10-07
当谈到机器学习和数据科学的入门项目时，决策树是一个非常好的起点。决策树是一种监督学习算法，可用于分类和回归任务。在本教程中，我们将使用决策树来解决一个经典的机器学习问题——鸢尾花分类。我们将详细介绍...
机器学习--决策树（公式结论）
qq_43535213的博客
08-04 3243
本文记录周志华《机器学习》决策树内容：***(文中公式内容均来自周志华《机器学习》)*** 决策树是基于树结构进行决策问题的算法，一般来说，一棵决策树包括一个根节点、若干内部节点和若干个叶子节点(决策结果)，其余每个节点则对应于一个属性测试。每个节点包含的样本集合根据属性测试的结果被划分到子节点中。从而实现以下的类似结构 ...
机器学习之离散值处理
追梦程序员的博客
08-18 8434
前面我们学习了分类决策树，下面我们以周志华的机器学习书上的西瓜数据作为训练集练习以下，数据集如下。 X = [ ['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑'], ['乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑'], ['乌黑', '蜷缩', '浊响', '清晰', '凹陷', '硬滑'], ['青绿', '蜷缩',...
【海量数据挖掘/数据分析】之 决策树模型（决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例）
仙魁XAN
07-04 6802
【海量数据挖掘/数据分析】之 决策树模型（决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例） 一、决策树模型 1、常用算法 2、属性划分策略 3、其他算法 三、决策树算法性能要求 四、 决策树模型创建 ( 递归创建决策树 ) 1 、 决策树模型创建 2 、 决策树创建算法 ( 递归 ) 3 、 递归操作 4 、 递归停止的条件 五、 决策树 树根属性 选择 六、信息增益 说明 1、 熵 和 信息 的数据组成 2 、 信息增
机器学习之决策树(手推公式版)
夏小悠的博客
02-02 2940
本篇博文主要介绍了机器学习里面的决策树算法，并给出了相关的计算过程，最后使用主流的机器学习库sklearn来实现决策树。机器学习(手推公式版)系列持续更新中...
机器学习——决策树算法原理及案例
06-11
决策树算法是一种广泛应用于分类和回归的机器学习算法，它基于树形结构对样本进行分类或预测。决策树算法的主要思想是通过一系列的判断来对样本进行分类或预测。在决策树中，每个节点表示一个属性或特征，每个分支...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

友培

数据皆开源！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值