信息熵（Entropy）

Entopy：是自信息的加权平均

• X是一个在{x1,x2…xn}中取值的离散随机变量，P(X = xi)记作P(xi)。X的信息熵由此可以定义为：
  H(X) = E( I(xi) ) = -ΣP(xi)log( xi )
• 熵是(信源–变量集X)自信息的期望
• (信源–变量集X)的不确定性的测度
• (信源–变量集X)的信息量测度

Conditional Entropy：是条件自信息的加权平均

• X、Y是一对随机变量，如果(X,Y)服从P(x,y)。在给定Y的条件下，X的条件熵定义如下：
  H(X|Y) = E[ log( 1/P(x|y) ) ] = Σ_X，Y P(x,y)log( 1/P(x|y) )
• proof：
  
• 物理意义：当我们已知与X相关联的符号的出现情况后，把这个情况考虑进去，求得的X信源的信息量，因此条件熵一般被用来衡量有记忆信源的信息量。

Joint Entropy：是联合自信息的加权平均

• 联合熵是一对离散随机变量(X,Y)，它服从P(x,y)分布，其定义如下：
  
  也可以被定义为：
  
• 使用情形：
  我们有q个允许使用的信源符号数，如下：
  
  但是我们要传递的消息数量大于q，于是我们有了扩展信源及其分布概率如下：
  其中扩展信源的意思是用原q个符合进行组合，用组合的结果去表示要传递的消息。