本文深入探讨了机器学习中的决策树，包括信息熵、信息增益、决策树的构建与评价，以及剪枝策略。此外，还介绍了随机森林的概念，它是通过集成学习方法构建多个决策树来提高分类精度的模型。随机森林具有高准确率、处理高维数据的能力以及评估特征重要性等优点。
决策树
信息熵
公式： H ( X ) = − ∑ x ∈ X P ( x ) l o g P ( x ) H(X)=-\sum_{x\in X}P(x)logP(x) H(X)=−∑x∈XP(x)logP(x)，H(X)称为X的信息熵，反映了X的信息量。
信息增益：g(D,A) = H(D)-H(D|A)为得知特征A下使得D的信息不确定性减少的程度。
信息增益的计算
H ( D ) = − ∑ k = 1 K ∣ C k ∣ ∣ D ∣ l o g ∣ C k ∣ ∣ D ∣ H(D)=-\sum_{k=1}^{K}\frac{|C_k|}{|D|}log\frac{|C_k|}{|D|} H(D)=−∑k=1K∣D∣∣Ck∣log∣D∣∣Ck∣
H ( D ∣ A ) = ∑ i = 1 n ∣ D i ∣ ∣ D ∣ H ( D i ) H(D|A)=\sum_{i=1}^{n}\frac{|D_i|}{|D|}H(D_i) H(D∣A)=∑i=1n∣D∣∣Di
最低0.47元/天 解锁文章
450
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
