决策树与随机森林Decision Tree Random Forest

chaichai1997

于 2020-04-16 18:25:20 发布

阅读量580

点赞数

分类专栏：机器学习文章标签：决策树机器学习 python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/chaichai1997/article/details/105563252

版权

决策树的实施过程主要包含特征选择、决策树的生成与树的修剪

1. 特征选择

(1)熵

P_i --离散变量x取值为i的概率

$H(x)=-\sum_{i=1}^nP_ilog(P_i)$

熵越大，数据的不确定越大。

(2)条件熵

$H(Y|X)=\sum_{i=1}^nP_iH(Y|X=x_i)$

(3)信息增益

g(D,A)=H(D)-H(D|A)

(4)信息增益率

$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$

(5)基尼系数

$Gini(p)=\sum_{K=1}^Kp_k(1-p_k)=1-\sum_{k=1}^kp_k^2$

对于样本D，假设K个类别，第k个类别的数量为|Ck|，则样本D的基尼系数表达式：

$Gini(D)=1-\sum_{k=1}^k\left [ \frac{|C_k|^2}{|D|} \right ]$

对于样本D，根据特征j的某个值s，把D分成|D1|和|D2|，则在特征A的条件下，样本D的基尼系数表达式为：

最低0.47元/天解锁文章

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
决策树与随机森林Decision Tree Random Forest

决策树的实施过程主要包含特征选择、决策树的生成与树的修剪1. 特征选择(1)熵--离散变量x取值为i的概率熵越大，数据的不确定越大。(2)条件熵(3)信息增益(4)信息增益率(5)基尼系数对于样本D，假设K个类别，第k个类别的数量为|Ck|，则样本D的基尼系数表达式：对于样本D，根据特征j的某个值s，把D分成|D1...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。