1. 引言 在计算语言学预备知识中,我们介绍了熵(自信息)与互信息;条件熵与联合熵;相对熵与交叉熵。这里我们要说明的是关于其在自然语言中的具体应用。 2. 熵(自信息)与互信息 现在我们先来复习以下熵及互信息的公式定义: 熵(自信息):