本文介绍了熵在衡量随机变量不确定性中的作用，包括联合熵、条件熵、对偶式和互信息。接着深入讨论了决策树的学习过程，如ID3、C4.5和CART算法，以及如何通过信息增益、信息增益率和基尼指数来选择最佳分叉依据。最后，文章提到了解决决策树过拟合问题的剪枝策略。
一、熵 entropy
表示随机变量不确定性，熵越大，不确定性越大。
1.联合熵
两个随机变量X，Y的联合分布，可以形成
联合熵Joint Entropy，用H(X,Y)
2.条件熵：
H(Y|X) = H(X,Y) - H(X)
根据互信息定义展开得到
H(Y|X) = H(Y) - I(X,Y)
3. 对偶式
H(X|Y)= H(X,Y) - H(Y)
H(X|Y)= H(X) - I(X,Y)
4.交叉熵
相对熵，又称互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度等
设p(x)、q(x)是X中取值的两个概率分布，则p对q的
相对熵是
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
