本文详细介绍了决策树的概念，包括特征选择的依据（如熵、基尼系数、信息增益等），何时停止分裂的条件，以及决策树的剪枝方法，特别讨论了CART算法在生成和剪枝中的应用。此外，还探讨了决策树的性质，如抗噪声和冗余特征的能力。
一、概念
在树的结点处按照属性的不同条件对样本进行划分。
二、决策树的生成
1. 特征的选择：局部最优
选择最优属性的最优划分。
度量结点的不确定程度：熵、基尼系数、分类错误率。
结点越不纯，结点处类分布越平衡，值越大。
E n t r o p y ( t ) = − ∑ k = 0 K p ( k ∣ t ) l o g ( p ( k ∣ t ) ) Entropy(t) = -\sum_{k=0}^K p(k|t)log(p(k|t)) Entropy(t)=−∑k=0Kp(k∣t)log(p(k∣t))
G i n i ( t ) = 1 − ∑ k = 0 K [ p ( k ∣ t ) ] 2 Gini(t) = 1-\sum_{k=0}^K[p(k|t)]^2 Gini(t)=1−∑k=0K[p(k∣t)]2
C l a s s i f i c a t i o n E r r o r = 1 − m a x [ p ( k ∣ t ) ] Classification Error = 1 - max[p(k|t)] ClassificationError=1−max[p(k∣t)]
比较分裂前后不纯程度的差别
信息增益（ID3）：分裂前后结点熵的差
Δ = I ( p a r e n t ) − I ( c h i l d r e n ) \Delta = I(parent) - I(children) Δ=I(parent)−I(c
最低0.47元/天 解锁文章
扫一扫
1401
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
