决策树：介绍信息熵-信息增益-决策树信息增益法构造决策树

最新推荐文章于 2022-10-26 16:33:14 发布

VIP文章瞳恩Dawn

最新推荐文章于 2022-10-26 16:33:14 发布

阅读量277

点赞数 1

分类专栏：统计学习方法文章标签：决策树机器学习概率论

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_44391984/article/details/124619609

版权

熵

什么是熵

熵，表示事物的不确定性
信息，可以消除不确定性的事物
- 看见某些特定的情况下，某些后果的成功率就变高了
- 看见某些特定的情况下，某些干扰就消除了
噪音，白白让人浪费注意力的东西，完全没用

信息熵的公式是怎么推倒出来的

此处参考 “致敬大神”里啃西瓜书的B站视频
个人感觉讲的极好
首先先声明信息熵公式 $-\sum_{k=0}^{ {\mid}y{\mid}}p_k{log_2}p_k$

$y$ 是出现的后果， ${y}\mid$ 是后果种类， $p_k$ 为第 $k$ 中情况出现的概率

骰子投掷次数	可能结果种类
1	2
2	4
3	8
$n$	$2^n$

这里举一个可能结果均匀分布的抛骰子例子：

如果在已知有8种可能结果情况下，就能通过 $log_2{8}$ 来得知一共抛了3次硬币
这里3就是熵的大小，即不确定性的大小

在这里插入图片描述

将右侧 $A, B, C$ 这三种非等概率的情况拆解成等概率，去对标等概率的情况

现在依旧有 $6$ 种情况，即 $log_2{6}$ ，前三种实际是一种情况，即 $A$ ，则 $log_2{6}-log_2{3}$
同理 $B$ 为 $log_2{6}-log_2{2}$

最低0.47元/天解锁文章

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
决策树：介绍信息熵-信息增益-决策树信息增益法构造决策树

熵什么是熵熵，表示事物的不确定性信息，可以消除不确定性的事物看见某些特定的情况下，某些后果的成功率就变高了看见某些特定的情况下，某些干扰就消除了噪音，白白让人浪费注意力的东西，完全没用信息熵的公式是怎么推倒出来的此处参考 “致敬大神”里啃西瓜书的B站视频个人感觉讲的极好首先先声明信息熵公式Ent(D)=−∑k=0∣y∣pklog2pkEnt(D) = -\sum_{k=0}^{{\mid}y{\mid}}p_k{log_2}p_kEnt(D)=−∑k=0∣y∣pklog
复制链接

扫一扫

专栏目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。