读书笔记 --《数学之美》_隐马尔可夫模型

《数学之美⋅第二版》第五章

1、通信模型

上图表示了一个典型的通信系统，它包括雅各布森(Roman Jakobson)提出的通信的六个要素(发送者(信息源)，信道，接收者，信息，上下文和编码)。
其中，$s_1,s_2,s_3,...$表示信息源发出的信号。$o_1,o_2,o_3,...$是接受器接收到的信号。通信中的解码就是根究接收到的信号$o_1,o_2,o_3,...$还原发送的信号$s_1,s_2,s_3,...$。

同样，很多自然语言处理的应用也可以这样理解。在从汉语到英语的翻译中，说话者讲的是汉语，但是信道传播编码的方式是英语，如果利用计算机，根据接收到的英语信息，推测说话者的汉语意思，就是机器翻译。同样，如果要根据带有用拼写错误的语句推测说话者想表达的正确意思，那就是自动纠错。这样，几乎所有的自然语言处理问题都可以等价成通信的编码问题。

在通信中，如何根据接收端的观测信号$o_1,o_2,o_3,...$来推测信号源发送的信息$s_1,s_2,s_3,...$呢？只需要从所有的源信息中找出最可能产生出观测信号的那一个信息。用概率论的语言来描述，就是在已知$o_1,o_2,o_3,...$的情况下，求得令条件概率$P(s_1,s_2,s_3,...|o_1,o_2,o_3,...)$达到最大值的那个信息串$s_1,s_2,s_3,...$，即

$$s_1,s_2,s_3,...=Arg_{all}Max_{s_1,s_2,s_3,...}P(s_1,s_2,s_3,...|o_1,o_2,o_3,...) (公式1.1)$$
利用贝叶斯公式，上述公式等价于
$$\frac{P(o_1,o_2,o_3,...|s_1,s_2,s_3,...)\cdot P(s_1,s_2,s_3,...)}{P(o_1,o_2,o_3,...)}$$ 其中， $P(s_1,s_2,s_3,...|o_1,o_2,o_3,...)$表达信息 $s_1,s_2,s_3,...$在传输后变成接收的信号 $o_1,o_2,o_3,...$的可能性；而 $P(s_1,s_2,s_3,...)$表示 $s_1,s_2,s_3,...$本身是一个在接收端合乎情理的信号(比如一个合乎情理的句子)的可能性；最后， $P(o_1,o_2,o_3,...)$表示在发送端(比如说话的人)产生信息 $o_1,o_2,o_3,...$的可能性。

首先，一旦信息$o_1,o_2,o_3,...$产生了，它就不会变了，这时$P(o_1,o_2,o_3,...)$就是一个可以忽略常数。因此，上面的公式可以等价于

$$P(o_1,o_2,o_3,...|s_1,s_2,s_3,...)\cdot P(s_1,s_2,s_3,...)$$
当然，这里有两项，虽然多过公式1.1的一项，但是这个公式完全可以用隐马尔可夫模型(Hidden Markov Model)来估计。

2、隐马尔可夫模型
先复习一下概率论 再来写这一章！