计算机语言学笔记（四）熵和语言模型评价

4 熵和语言模型评价

4.1 熵

变长编码：给小概率信息赋以较长的编码，给大概率消息赋以较短的编码。
信息论中用熵描述随机变量平均信息量。

H(X)≥0，等号表明确定场(无随机性)的熵最小。
H(X)≤log|X|，等号表明等概场的熵最大。
联合熵：
条件熵：
链式规则：H(X,Y) = H(X) + H(Y|X)
信息量的大小随着消息长度的增加而增加，为了便于比较，一般使用熵率的概念，熵率一般也称为字符熵或词熵。
互信息：根据链式规则，有H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)。
可以推导出:H(X) - H(X|Y) = H(Y) – H(Y|X)。
H(X)和 H(X|Y) 的差称为互信息，一般记作I(X;Y)。
I(X;Y) 描述了包含在X中的有关Y的信息量，或包含在Y中的有关X的信息量。
I(X;Y)≥0 等号成立当且仅当X和Y相互独立。
I(X;Y) = I(Y;X) 说明互信息是对称的。
在计算语言学中,更为常用的是两个具体事件之间的互信息，一般称之为点间互信息。
事件x, y之间的互信息定义为：I(x,y)=log(p(x,y)/p(x)p(y))
点间互信息度量两个具体事件之间的相关程度。
度
当I(x,y)>>0 时，x和y高度相关。当I(x,y)=0时，x和y高度相互独立。当I