西瓜书第四章\决策树算法

杨世颜

于 2024-09-30 21:45:31 发布

阅读量561

点赞数 7

文章标签：人工智能机器学习决策树算法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/2301_78471905/article/details/142663175

版权

算法原理

逻辑角度：一堆if else语句的组合；

几何角度：根据某种准则划分特征空间；

最终目的：将样本越分越纯。

划分选择

不同的划分准则对应不同的决策树算法。

ID3决策树

信息熵：度量随机变量X的不确定性，“信息熵”越大越不确定.

$H(X)=E[I(X)]=-\sum_x p(x)\log_bp(x)$ .

当X的某个取值概率为1时，H(X)=0；当X各个取值概率均等时， $H(X)=\log_b|X|$ ，|X|表示可能取值的个数。

假定当前样本集合D中第k类样本所占的比例为 $p_k$ (k = 1,2,…，|y|),则D 的信息熵定义为，

$Ent(D)=-\sum_{k=1}^{|y|}p_k\log_2p_k$

在这里，“信息熵”所代表的随机变量X的“不确定性”可以理解为集合D的“纯度”。Ent(D)越小，集合D的纯度越高。

条件熵：类比“条件概率”，“条件熵”是已知X后Y的不确定性，即Y的信息熵关于概率分布X的期望，

$H(Y|X)=-\sum_xp(x)H(Y|X=x)$

假定属性a有V个可能的取值，属性a为 $a^v$ 的样本的集合记为 $D^v$ ， $|D^v|$ 为样本数。则条件熵表示为， $-\sum_{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$ .

信息增益：已知属性a的取值后y的不确定性的减少量，即纯度的提升量，

$Gain(D,a)=Ent(D)-\sum_{v=1}^V\frac{|D^v|}{|D|}Ent(D^v)$

划分点的选择：对于每个属性a及每个可能取值 $a^v$ ，将集合D划分为a< $a^v$ 和a>= $a^v$ 两部分来计算信息增益值，选择基尼指数最小的属性及其对应取值作为划分属性和划分点。

用信息增益来进行决策树的划分属性选择，这就是ID3决策树学习算法。

但信息增益对可能取值数目较多的属性有所偏好。

C4.5决策树

增益率： $Gain\_ratio(D,a)=\frac{Gain(D,a)}{IV(a)}$ ，其中， $IV(a)=-\sum_{v=1}^V\frac{|D^v|}{D}\log_2\frac{|D^v|}{|D|}$ .

由于增益率准则对可取值数目较少的属性有所偏好，C4.5算法使用了一个启发式：先从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。

CART决策树

基尼值：从数据集D中随机抽取两个样本，其类别标记不一致的概率。基尼值越小，集合D的纯度越高。

$Gini(D)=\sum_{k=1}^{|y|}\sum_{k^{`} \neq k}p_kp_{k^`}$

$=1-\sum_{k=1}^{|y|}p_k^2$

基尼指数：基尼值和基尼指数的关系可以类比于信息熵和条件熵。

$Gini\_index(D,a)=\sum_{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$ .

划分点的选择：对于每个属性a的每个可能取值 $a^v$ ，将数据集D划分为a= $a^v$ 和a $\neq a^v$ 两部分来计算基尼指数。选择基尼指数最小的属性及其对应取值作为划分属性和划分点。

CART决策树算法用基尼指数来选择划分属性。

关注

7
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。