各种熵之间的关系

各种熵之间的关系

• H(X, Y) =  H(x) U H(Y);  —— 联合熵的定义：两个随机变量X,Y的联合分布，可以形成联合熵,是并集
• H(X|Y) = H(X, Y) - H(Y); H(Y|X) = H(X, Y) - H(X) —— 条件熵的定义
• H(X|Y) = H(X) - I(X, Y); H(Y|X) = H(Y) - I(X, Y)
• I(X, Y) = H(X) - H(X|Y) = H(X) + H(Y) - H(X, Y) —— 也可以作为互信息的定义
• H(X|Y) <= H(X)：
  • H(X)表示X的不确定度；H(X|Y)表示给定Y的情况下，X的不确定度。
  • 如果X与Y完全独立，则二者相等（给不给Y对X能给出多少信息无关）；
  • 而如果X与Y不是独立的，则给定Y之后会降低X的熵，即X的不确定性会降低。

用Venn图帮助记忆：