基础知识熵/信息熵：熵描述了数据的混乱程度，熵越大，混乱程度越高，也就是纯度越低；反之，熵越小，混乱程度越低，纯度越高。 熵的计算公式如下所示：Entropy=−∑i=1kpilog2(pi)Entropy=-\sum_{i=1}^kp_ilog_2(p_i)Entropy=−∑i=1kpilog2(pi)条件熵：随机变量X给定的条件下随机变量YYY的条件熵H(Y∣X)=∑i=1npi...
基础知识
熵/信息熵：熵描述了数据的混乱程度，熵越大，混乱程度越高，也就是纯度越低；反之，熵越小，混乱程度越低，纯度越高。 熵的计算公式如下所示： E n t r o p y = − ∑ i = 1 k p i l o g 2 ( p i ) Entropy=-\sum_{i=1}^kp_ilog_2(p_i) Entropy=−∑i=1kpilog2(pi)
条件熵：随机变量X给定的条件下随机变量 Y Y Y的条件熵 H ( Y ∣ X ) = ∑ i = 1 n p i H ( Y ∣ X = x i ) H(Y|X)=\sum_{i=1}^np_iH(Y|X=x_i) H(Y∣X)=∑i=1npiH(Y∣X=xi)
当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别称为经验熵和经验条件熵。
相对熵：
联合熵：联合概率分布， H ( x , y ) = − ∑ i = 1 n ∑ j = 1 m p ( x i , y j ) l o g 2 p ( x i , y j ) H(x,y)=-\sum_{i=1}^n\sum_{j=1}^mp(x_i,y_j)log_2p(x_i,y_j) H(x,y)=−∑i=1n∑j=1mp(xi,yj)log2p(xi,yj)
互信息：
信息增益：特征 A A A对训练数据集 D D D的信息增益 g ( D , A ) g(D,A) g(D,A)即为经验熵 H ( D ) H(D) H(D)-经验条件熵 H ( D ∣ A ) H(D|A) H(D∣A)，其中KaTeX parse error: Undefined control sequence: \C at position 48: …D|}log_2\frac{|\̲C̲_k|}{|D|}， H ( D ∣ A ) = ∑ i = 1 n ∣ D i ∣ ∣ D ∣ H ( D i ) = − ∑ i = 1 n ∣ D i ∣ ∣ D ∣ ∑ k = 1 K ∣ D i k ∣ ∣ D i ∣ l o g 2 ∣ D i k ∣ ∣ D i ∣ H(D|A)=\sum_{i=1}^{n}\frac{|D_i|}{|D|}H(D_i)=-\sum_{i=1}^n\frac{|D_i|}{|D|}\sum_{k=1}^K\frac{|D_{ik}|}{|D_i|}log_2\frac{|D_{ik}|}{|D_i|} H(D∣A)=∑i=1n∣D∣∣Di∣H(Di
最低0.47元/天 解锁文章
4284
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
