本文详细介绍了信息论中的熵、联合熵、条件熵、相对熵（KL散度）和互信息的概念。在机器学习中，这些概念被用于衡量概率分布的相似性、特征选择和模型优化。互信息可以表示两个变量的相关性，并在特征选择中帮助减少不确定性，尤其在决策树算法中。此外，与F检验相比，互信息更能捕捉非线性相关性。
首先介绍几个信息论中的概念。
熵， 表示某个概率分布的不确定度：
H ( x ) = − ∑ p ( x ) l o g p ( x ) H(x) = - \sum p(x) log p(x) H(x)=−∑p(x)logp(x)
联合熵，两个变量联合分布的不确定度：
H ( x , y ) = ∑ ∑ p ( x , y ) l o g p ( x , y ) H(x,y) = \sum \sum p(x,y) log p(x,y) H(x,y)=∑∑p(x,y)logp(x,y)
条件熵，在X确定后，Y的不确定度：
H ( Y ∣ X ) = ∑ p ( x i ) H ( Y ∣ X = x i ) = ∑ ∑ p ( x , y ) l o g ( p ( x , y ) / p ( x ) ) H(Y|X) = \sum p(x_i) H(Y|X=x_i) = \sum \sum p(x,y) log (p(x,y)/p(x)) H(Y∣X)=∑p(xi)H(Y∣X=xi)=∑∑p(x,y)l
最低0.47元/天 解锁文章
扫一扫
721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
