读书笔记：机器学习（第4章）

于 2023-01-24 07:51:24 发布
阅读量106 收藏
点赞数
分类专栏： 读书笔记 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75664784/article/details/128755141
版权

 一、两种不同的叶子结点

  • 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分，在这种情形下，我们把当前结点标记为叶结点
    • 将其类别设定为该结点所含样本最多的类别
    • 这是在利用当前结点的后验分布
  • 当前结点包含的样本集合为空，不能划分，在这种情形下，把当前结点标记为叶结点
    • 将其类别设定为其父结点所含样本最多的类别
    • 这是把父结点的样本分布作为当前结点的先验分布

二、信息增益(Information gain)怎么来的

信息熵(Information entropy)的定义

Ent(D)=-\sum_{k=1}^{\left | y \right |}p_{k}log_{2}p_{k}，其中p_{k}表示当前样本集合D中第k类样本所占的比例，Ent(D)的值越小，D的纯度越高

信息增益

定义：假设在属性a上对样本集D进行划分，从总的信息熵到各个分支结点信息熵加权和的差值，就是“属性a对样本集D进行划分所获得的信息增益”

计算：Gain(D,a)=Ent(D)-\sum_{v=1}^{V}\frac {\left | D^{v} \right |}{\left | D \right |}Ent(D^{v})

代表：ID3

三、信息增益率(Information gain ratio)怎么来的

信息增益准则对可取值数目较多的属性有所偏好，为了减小这种偏好可能带来的不利影响，就要对可取值数目较多的属性进行惩罚，即

最低0.47元/天 解锁文章
foreverbeginnerz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《机器学习》阅读笔记 第四章
m0_51655046的博客
01-26 66
寒假Datawhale组队学习 吃瓜系列 《机器学习》 第四章 读书笔记
《机器学习》周志华--第4章读书笔记+习题答案
weixin_45775701的博客
11-15 4280
第四章-决策树习题答案 习题答案 1.试证明对于不含冲突数据(即特征向量完全相同但标记不同)的训练集，必存在与训练集一致(即训练误差为0)的决策树。 答： 说法一：不含冲突数据;决策树是按照特征来进行划分->可以得到每个叶节点中的样本的所有特征及标记完全相同的决策树->与训练集一致。 说法2:因为决策树是通过属性来划分,相同属性的样本最终肯定会进入相同的叶节点。- -个叶节点 只有一个分类，如果样本属性相同而分类不同，必然产生训练误差。反之，决策树只会在当 前样本集合是同一类或者所有属性相同时才
《机器学习》周志华第四章笔记
Just Do IT
07-01 2520
自己对决策树的一些理解，不一定对，权当加深印象。4.1基本流程组成：一个根节点、若干内部节点和若干叶节点；叶节点对应了不同的预测结果，我们的目的是从包含样本全集的根节点找到它到每个叶节点的路径对应一个判定预测序列。 目的：产生一棵泛化能力强的决策树。什么叫做泛化能力强呢？就是这颗决策树能够对之前没见过的样本也能做出正确的预测。整个过程如下输入：训练集D，属性集A 1、生成节点node 2、如果 D
决策树模型 - （ID3算法、C4.5算法） - Python代码实现
黄饱饱
08-22 1万+
目录 算法简介 信息熵(Entropy) 信息增益(Information gain) - ID3算法 信息增益率(gain ratio) - C4.5算法 源数据 代码实现 - ID3算法 代码实现 - C4.5算法 画决策树代码-treePlotter 算法简介 决策数(Decision Tree)在机器学习中也是比较常见的一种算法，属于监督学习中的一种。其中ID3算法是以...
信息熵、信息增益与信息增益率
酱油哥的博客
05-10 8928
信息熵、信息增益与信息增益率信息熵、信息增益与信息增益率信息熵(Information Entropy)信息增益(Information Gain)信息增益率(Information Gain Ratio) 信息熵、信息增益与信息增益率 信息熵(Information Entropy) 信息熵是用来评估样本集合的纯度的一个参数，就是说，给出一个样本集合，这个样本集合中的样本可能属于好多不同的类别，...
强化学习读书笔记sutton第七章
07-13
强化学习读书笔记Sutton第七章 强化学习是一种机器学习方法，旨在让 Agent 学习在环境中正确地采取动作和做出决策，以获得最大的累积奖励。在 Sutton 的第七章中，我们将探讨 N 步自举法、N 步时序差分预测、N 步 ...
《可解释机器学习：模型、方法与实践》读书笔记模板.pptx
09-16
《可解释机器学习：模型、方法与实践》读书笔记模板 《可解释机器学习：模型、方法与实践》是一本关于可解释机器学习的图书，该书籍结合学术界前沿理论研究和金融行业应用经验，系统地整理了可解释机器学习技术的...
计算机视觉-模型学习和推理笔记第四章 计算机视觉.pdf
04-21
"计算机视觉-模型学习和推理笔记第四章 计算机视觉.pdf" 从给定的文件信息中，我们可以提取出以下几个重要的知识点： 1. 模型拟合（Model Fitting）：模型拟合是指确定模型的参数集合。最大似然估计法（ML）和最大...
深度学习Tensorflow工程化项目实战 读书笔记
12-22
### 第四章 用TensorFlow制作自己的数据集 理解并创建数据集是深度学习项目的关键步骤。TensorFlow支持多种数据集格式： 1. **内存对象数据集**：使用字典类型`feed_dict`直接注入数据，适用于小规模数据。 2. **...
哈工大操作系统读书笔记4（第四周）
最新发布
01-20
第四周的学习内容通常会涉及进程管理、线程概念以及进程间通信等相关知识点。 一、进程管理 在操作系统中，进程是程序的一次执行过程，它是系统进行资源分配和调度的基本单位。第四周可能会讲解以下几个方面的内容...
增益和增益率，计算代码
m0_55167577的博客
09-26 1107
信息增益与增益率的代码计算（C++）（python）
信息增益
zhouqiang128
06-19 1244
什么是信息增益(Information Gain)? 当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以称之为“最大熵法”。最大熵法在数学形式上很漂亮，但是实现起来比较复杂，但把它运用于金融领域的诱惑也比较大，比如说决定股票涨落的因素可能有几十甚至...
决策树、理解信息熵、信息增益(ID3)、增益率(C4.5)、基尼指数(CART)、预剪枝、后剪枝、多变量决策树
谦卑
08-15 2220
决策树、理解信息熵、信息增益(ID3)、增益率(C4.5)、基尼指数(CART)、预剪枝、后剪枝、多变量决策树 （一）基本流程 决策树(decision tree)： 一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果,其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集.从根结点到每个叶结点的路径对应了一个判定测试序列.决策树学习的目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树,其基本流程遵循
信息熵 条件熵 信息增益 信息增益比 GINI系数
大数据流浪法师的学习笔记与分享
07-17 1460
文章目录数据(Data)信息(Information)信息量(Quantity Of Information) 此文是一些机器学习常用概念的整理，搬运过来的。 在信息论与概率统计学中，熵（entropy）是一个很重要的概念。在机器学习与特征工程中，熵的概念也用得很多。 数据(Data) “承载了信息的东西”才是数据 信息(Information) 信息是用来消除不确定性的东西 信息量(Quantity Of Information) 2.15.4.香农公式(Shannon Formula) 2
信息增益、信息增益率、gini、特征选择、决策树
热门推荐
William Zhao's notes
05-04 2万+
先简单介绍一下概念 熵：表示随机变量的不确定性。 条件熵：在一个条件下，随机变量的不确定性。 信息增益：熵 - 条件熵。在一个条件下，信息不确定性减少的程度。通俗地讲，X(明天下雨)是一个随机变量，X的熵可以算出来， Y(明天阴天)也是随机变量，在阴天情况下下雨的信息熵我们如果也知道的话（此处需要知道其联合概率分布或是通过数据估计）即是条件熵。两者相减就是信息增益。原来明
j48源码学习笔记(三）InfoGainSplitCrit, GainRatioSplitCrit,熵的计算
qq_33529648的博客
12-29 614
在C45Split用到了如下代码: m_distribution = new Distribution(m_complexityIndex, trainInstances.numClasses());//包数=分枝数 Enumeration enu = trainInstances.enumerateInstances();
机器学习-第四章决策树读书笔记（周志华）
black_shuang的博客
06-12 5090
前言博主第一次接触机器学习，内容可能有许多原文复现，但是我尽量用自己的话来讲读书笔记第一目的是为了总结，第二是顺便在博客上记录我的学习历程，同时也希望读者能有一点点收获吧~如果不对的地方，还请多多指教！正文周志华的机器学习第四章讲的是关于决策树。决策树的基本流程顾名思义，决策树就是基于树的结构来进行决策的。如图4.1所示，从树的根结点，到叶子结点（也就是判别结果），其中一般会经过若干个中间结点，每...
<机器学习>(周志华)读书笔记 -- 第四章 决策树
ANONYMOUSLYCN的专栏
03-28 1235
4.1 基本流程 决策树是什么?要想解决这个问题，首先要弄明白的就是计算机中的树是什么。树，我们在计算机中很常见了，有二叉树，哈夫曼树等等，总结一下共同点的时候就是，对一个当前节点而言，下一个个节点有多个节点可以选择的结构。简单的说就是有分叉的结构就是树（可能这样说也不严谨）。而决策树就是利用了这种分叉来判断的树。如图就是一个决策树： 一个决策树包含了一个根节点，若干个内部节点和若干个叶节
嵩天教授机器学习笔记整理
07-02
本资源是一份根据嵩天老师的机器学习课程整理的笔记，主要涵盖了机器学习的基本概念和scikit-learn库的应用。笔记详细地介绍了机器学习的主要类别： 1. 监督学习：监督学习是通过已有的标注数据进行模型训练，目的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值