熵和条件熵

1、问题描述

在读李航的《统计机器学习》第六章最大熵模型时看到一个矛盾的地方：
关于熵的描述：

$$H(P)=-\sum _i^{n}P(x_i)logP(x_i)$$

而定义在条件概率分布$P(Y|X)$上的条件熵又写为：

$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)logP(y|x)$$

但是按照我的理解应该写为：

$$H(P)=-\sum _{x,y}P(y|x)logP(y|x)$$

感觉书本上的公式多了个$\tilde{P}(x)$项。查阅资料发现我还是太浅薄了哈哈 数学不行，没有真正理解$H(P)$的含义。

2、公式推导

条件熵$H(Y|X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性。条件熵$H(Y|X)$定义为$X$给定条件下$Y$的条件概率分布的熵对$X$的数学期望：

$$\begin{gathered} H(Y|X)=\sum _{x}p(x)H(Y|X=x) \\ =-\sum _{x}p(x)\sum _{y}p(y|x)logp(y|x) \\ =-\sum _x\sum _{y}p(x)p(y|x)logp(y|x) \\ =-\sum _{x,y}p(x)p(y|x)logp(y|x) \\ =-\sum _{x,y}p(x,y)logp(y|x) \end{gathered}$$

其实化简到倒数第二步已经和书本上一样了，最后一步是因为 $p(y|x)p(x)=p(x,y)$.
重要的是要理解 $H(Y|X)={\sum }_{x}p(x)H(Y|X=x)$