熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望，公式如下: H ( X ) = − ∑ i = 1 n p ( x i ) log p ( x i ) H(X)=-\sum_{i=1}^{n} p\left(x_{i}\right) \log p\left(x_{i}\right) H(X)=−i=1∑np(xi)logp(xi)条件熵表示在已知随机变量X的条件下随机变量Y的不确定性，公式为： H ( Y ∣ X ) = ∑ x ∈ X p ( x ) H ( Y ∣ X = x ) = − ∑ x ∈ X p ( x ) ∑ y ∈ Y p ( y ∣ x ) log p ( y ∣ x ) = − ∑ x ∈ X ∑ y ∈ Y p ( x , y ) log p ( y ∣ x ) \begin{aligned} H(Y | X) &=\sum_{x \in X} p(x) H(Y | X=x) \\ &=-\sum_{x \in X} p(x) \sum_{y \in Y} p(y | x) \log p(y | x) \\ &=-\sum_{x \in X} \sum_{y \in Y} p(x, y) \log p(y | x) \end{aligned} H(Y∣X)=x∈X∑p(x)H(Y∣X=x)=−x∈X∑p(x)y∈Y∑p(y∣x)logp(y∣x)=−x∈X∑y∈Y∑p(x,y)logp(y∣x)
| 长相 | 性格 | 身高 | 婚嫁 |
|---|---|---|---|
| 帅 | 不好 | 矮 | 不嫁 |
| 帅 | 不好 | 高 | 不嫁 |
| 不帅 | 不好 | 矮 | 不嫁 |
| 帅 | 好 | 高 | 嫁 |
| 不帅 | 不好 | 高 | 嫁 |
| 帅 | 好 | 矮 | 嫁 |
| 不帅 | 好 | 高 | 嫁 |
| 不帅 | 好 | 矮 | 嫁 |
帅有5个，不帅有4个，所以 p ( 帅 ) = 5 9 p(帅)=\frac{5}{9} p(帅)=95， p ( 不 帅 ) = 4 9 p(不帅)=\frac{4}{9} p(不帅)=94，在不帅的前提下嫁的个数有3个，不嫁的有1个，所以 p ( 嫁 ∣ 不 帅 ) = 3 4 p ( 不 嫁 ∣ 不 帅 ) = 1 4 p(嫁|不帅)=\frac{3}{4}\ \ \ \ \ \ \ \ \ \ \ p(不嫁|不帅)=\frac{1}{4} p(嫁∣不帅)=43 p(不嫁∣不帅)=41则 H ( 婚 嫁 ∣ 不 帅 ) = − 3 / 4 l o g 3 / 4 − 1 / 4 l o g 1 / 4 H(婚嫁|不帅)=-3/4log3/4-1/4log1/4 H(婚嫁∣不帅)=−3/4log3/4−1/4log1/4在帅的前提下嫁的个数为2个，不嫁个数为2个，则 p ( 嫁 ∣ 帅 ) = 1 2 p ( 不 嫁 ∣ 帅 ) = 1 2 p(嫁|帅)=\frac{1}{2}\ \ \ \ \ \ \ \ \ \ \ \ \ \ p(不嫁|帅)=\frac{1}{2} p(嫁∣帅)=21 p(不嫁∣帅)=21则 H ( 婚 嫁 ∣ 帅 ) = − 1 / 2 l o g 1 / 2 − 1 / 2 l o g 1 / 2 H(婚嫁|帅)=-1/2log1/2-1/2log1/2 H(婚嫁∣帅)=−1/2log1/2−1/2log1/2综上 H ( 婚 嫁 ∣ 长 相 ) = 5 9 × H ( 婚 嫁 ∣ 帅 ) + 4 9 × H ( 婚 嫁 ∣ 不 帅 ) H(婚嫁|长相)=\frac{5}{9}\times H(婚嫁|帅)+\frac{4}{9}\times H(婚嫁|不帅) H(婚嫁∣长相)=95×H(婚嫁∣帅)+94×H(婚嫁∣不帅)
1073
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
