4.5为什么使用信息增益比来选择特征？

最新推荐文章于 2022-01-14 16:10:18 发布

Sirius_Ch

最新推荐文章于 2022-01-14 16:10:18 发布

阅读量5.3k

点赞数 1

分类专栏：理论文章文章标签：算法数学机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_20806657/article/details/52758322

版权

这篇文章来源于本人的知乎回答

作者：陈彪

链接：https://www.zhihu.com/question/22928442/answer/117189907

来源：知乎

著作权归作者所有，转载请联系作者获得授权。

最近正好在学决策树，信息增益和信息增益率确实是初学阶段很纠结的问题。要解决题主的疑惑，必须先分析Info-Gain(信息增益)和Gain-ratio(信息增益率)的关系与差异。
从熵（Entropy）开始说起，熵最初是一个物理学概念，后来在数学中用来描述“一个系统的混乱程度”，因此一个系统的信息熵越高就越无序，信息熵越低就越有序， 信息熵越高，使其有序所要消耗的信息量就越大。

我们的目的就是将系统变得有序并找出 确定的信息，假设变量 $X=\left\{ x_{1},x_{2}...x_{i}...x_{n}\right\}$ ，其中每个元素对应的概率（比例）为 $P=\left\{ p_{1},p_{2}...p_{i}...p_{n}\right\}$ ，则对应熵的计算公式如下：
$E(X)=-\sum_{i=1}^{n}{p_{i}log_{2}(p_{i} ) }$
而信息增益（Info-Gain）指的就是熵的减少量：

最低0.47元/天解锁文章

关注

1
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
4.5为什么使用信息增益比来选择特征？

这篇文章来源于本人的知乎回答作者：陈彪链接：https://www.zhihu.com/question/22928442/answer/117189907来源：知乎著作权归作者所有，转载请联系作者获得授权。最近正好在学决策树，信息增益和信息增益率确实是初学阶段很纠结的问题。要解决题主的疑惑，必须先分析Info-Gain(信息增益)和Gain-ratio(信息增益率)的
复制链接

扫一扫

专栏目录

Sirius_Ch CSDN认证博客专家 CSDN认证企业博客

码龄10年

1: 原创

94万+: 周排名

218万+: 总排名

5345: 访问

: 等级

64: 积分

0: 粉丝

1: 获赞

0: 评论

5: 收藏

私信

关注

热门文章

4.5为什么使用信息增益比来选择特征？ 5345

分类专栏

理论文章

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。