计算语言学之条件熵与联合熵、相对熵与交叉熵的应用

1. 引言

条件熵与联合熵我们在之前已经讲过，大家可以类比一下条件概率和联合概率，就大概知道是什么意思了。不过这里我们还是复习一下条件熵与联合熵的公式。

2. 条件熵与联合熵的应用

条件熵：在给定X的情况下，Y的条件熵定义为：
H ( Y ∣ X ) = − ∑ x ∈ X