机器学习笔记9-熵/信息增益

最新推荐文章于 2023-05-07 16:13:00 发布
最新推荐文章于 2023-05-07 16:13:00 发布
阅读量244 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32201847/article/details/72285280
版权

熵的公式是：负 Pi log2(Pi)，把所有的可能出现的类的结果加和

Pi 是给定类（即类 i）中的样本的分数/概率


熵基本上与纯度对立，所以，在一种极端情况下，你的所有样本可以属于相同类，熵将为 0。


你的样本均匀分散在所有可能类中，熵将为 1.0。


信息增益定义为父项熵减去分割父项后生成的子项的熵的加权平均。

决策树会最大程度地提高信息增益来选择进行分割的特征

handsome_happy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[机器学习]信息&熵&信息增益
weixin_30578677的博客
06-16 929
关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如有错误还请指出。 1、信息 这个是熵和信息增益的基础概念，我觉得对于这个概念的理解更应该把他认为...
机器学习—信息增益
hyl999的专栏
06-09 729
机器学习—信息增益 举例说明：如果有8位同学，男生3位，女生5位。 如果用头发，和声音判断男女，那么头发长判断完，在判断声音细好呢？还是用声音细先判断，在用头发长判断好呢？这个头发，声音就是“熵”，那么两种判断方法就是两种“信息增益”，需要计算它，比较哪个信息增益的值更大，意味着用这个属性来进行划分所获得的“纯度提升”越大，方知哪种更好。 首先计算未分类前的熵 ：熵（总）=-3/8*log2(3/8)-5/8*log2(5/8)=0.9544 先按A头发分类，分类后的结果为：长头发中有1男3女..
机器学习信息增益
weixin_52842063的博客
10-26 157
机器学习之信息增益（熵和条件熵）
Python开发工程师
09-07 5844
本文转载于：https://blog.csdn.net/chunyun0716/article/details/51289940 要了解信息增益，我们要先知道熵与条件熵的定义。 2.1 熵 熵是无序度的度量，在信息论和统计中，熵表示随机变量不确定性的度量。假设XX是一个取有限值的离散型随机变量，它的概率分布如下： P(X=xi)=pi,i=1,2,…,nP(X=xi)=pi,i=1,2,...
【机器学习 - 决策树】信息增益
weixin_44211968的博客
07-11 2074
本文解释了决策树模型中用到的信息增益的概念
斯坦福机器学习公开课笔记1-5
07-09
《斯坦福机器学习公开课笔记1-5》是博主“心张烟酰胺”根据斯坦福大学的机器学习公开课整理的一系列学习笔记。这些笔记详细记录了课程的前五讲内容，旨在帮助读者深入理解机器学习的基本概念、原理和应用。在这一千...
信息熵决策树.zip
12-04
决策树是一种广泛应用于机器学习领域的算法，它通过创建一种类似流程图的结构来做出预测或决策。在《机器学习》中，决策树的学习过程通常包括特征选择、树的构建和剪枝等步骤。本笔记主要关注信息熵在决策树中的应用...
机器学习-决策树视频教学
06-09
在提供的文件中，"机器学习-决策树视频教学-b8eb56e1a9d35fe2b023703f9e819614.pdf"可能是课程的讲义或笔记，涵盖了关键概念和实例解析。而"机器学习-决策树视频教学-e021e108229f6a3ecc9361a125c77edc.zip"可能包含...
机器学习笔记word格式.docx
01-11
决策树是一种广泛应用于数据分析和机器学习的模型，它通过创建分层的决策路径来实现对数据的分类。本文主要讨论了决策树中的几个关键概念，包括信息熵、条件熵、信息增益，以及两种著名的决策树算法：ID3和C4.5。 ...
机器学习理论知识笔记
05-11
这篇笔记主要涉及了机器学习中的支持向量机(SVM)和决策树两大算法。 首先，我们来了解一下支持向量机。SVM是一种二分类模型，它的基本思想是找到一个超平面，该超平面能最大化类别之间的间隔。在二维空间中，这个超...
基于信息增益的决策树（python）
11-16
自己用Python3.6.1 写的基于信息增益的决策树，信息熵函数、信息增益函数、多数表决函数、产生决策树的函数写的都比较清楚，直接下载放在python环境中就能出结果，数据用的是周志华老师的《机器学习》的表4.3。
机器学习中信息增益的计算方法
热门推荐
It_BeeCoder的博客
03-14 3万+
背景介绍：最近在处理数据的时候，需要用到信息增益来进行特征选择，在网上查阅了一些资料，这里对信息增益的相关知识总结一下。信息增益原理介绍介绍信息增益之前，首先需要介绍一下熵的概念，这是一个物理学概念，表示“一个系统的混乱程度”。系统的不确定性越高，熵就越大。假设集合中的变量X={x1,x2…xn}，它对应在集合的概率分别是P={p1,p2…pn}。那么这个集合的熵表示为：举一个的例子：对游戏活跃用...
机器学习--信息 信息熵 信息增益
weixin_34152820的博客
12-10 315
信息： 信息这个概念的理解更应该把他认为是一用名称，就比如‘鸡‘(加引号意思是说这个是名称)是用来修饰鸡(没加引号是说存在的动物即鸡)，‘狗’是用来修饰狗的，但是假如在鸡还未被命名为'鸡'的时候，鸡被命名为‘狗’，狗未被命名为‘狗’的时候，狗被命名为'鸡'，那么现在我们看到狗就会称其为‘鸡’，见到鸡的话会称其为‘鸡’，同理，信息应该是对一个抽象事物的命名，无论用不用‘信息’来命名这种抽象事物...
【机器学习】信息量、香农熵、信息增益（增加例子，方便理解）
最新发布
qq_25218219的博客
05-07 2524
这个公式的物理意义是，当事件 i 发生的概率越小时，其所包含的信息量就越大。例如，在一组有 8 个等概率的符号中选出一个符号，它所包含的信息量为。在信息论中，香农熵通常被定义为一个系统中所有可能事件的信息量的期望值。但是，突然某一天有人告诉你，今天太阳是从西边出来的，那么这条信息的信息量就。不完全正确，虽然在一些情况下，信息量可以通过一个事件发生的概率来表示，但是。是不是可以简单的将系统中的所有事件的信息量加和大小作为整个系统的香农熵值？事件i发生的概率）就可以量化的表示信息的信息量了。
机器学习：决策树之信息熵、信息增益、信息增益率、基尼指数分析
m0_58475958的博客
07-15 6878
信息熵 信息理论 从信息的完整性描述：当系统的有序状态一致时，数据越集中的地方熵值越小，数据越分散的地方熵值越大。 从信息的有序性描述：当数据量一致时，系统越有序，熵值越低；系统越混乱或者分散，熵值越高。 “信息熵” (information entropy)是度量样本集合纯度最常用的一种指标。 信息熵理解 信息熵是一个变量包含信息多少的度量方式 信息熵的值越大，则认为该变量包含的信息量就大 信息熵越大，表示包含的信息种类就越多，信息量就越大，信息越混乱分散，纯度就越低 信息熵只和包含的信息种类
通俗理解决策树算法中的信息增益
AI_盲的博客
04-27 7866
在决策树算法的学习过程中，信息增益是特征选择的一个重要指标，它定义为一个特征能够为分类系统带来多少信息，带来的信息越多，说明该特征越重要，相应的信息增益也就越大。 1  概念 我们前面说了，信息熵是代表随机变量的复杂度（不确定度）通俗理解信息熵，条件熵代表在某一个条件下，随机变量的复杂度（不确定度）通俗理解条件熵 而我们的信息增益恰好是
熵最大导致智能？
人工智能学家
07-11 1253
来源：陶勇科学网博客摘要：20世纪50年代开始，现代宏观经济学在研究经济增长时，发现了一个神秘的变量“技术进步（或者知识）A”，这个变量所带来的经济增长被称作“索洛剩余”...
机器学习中的熵
qq_32577043的博客
06-04 216
信息量 香农认为“信息是用来消除随机不确定性的东西”，也就是说衡量信息量大小就是看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “吐鲁番下中雨了”，这条信息比较有价值。 太阳明天从东方升起的概率是 100%，吐鲁番下中雨的概率是2%。事件发生的概率越大，说明事件发生的确定性越大。吐鲁番下雨这个事件，直接消除98%不下雨...
斯坦福大学2014机器学习教程笔记-吴恩达
笔记详细记录了斯坦福大学2014年的机器学习课程内容，包括监督学习、无监督学习以及最佳实践等多个主题，并附有课程链接、QQ群信息以及翻译的中英文字幕资源。" 这篇笔记详尽地涵盖了吴恩达教授在2014年斯坦福大学...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值