噪声信道模型是一个非常重要的模型,它在很多领域都有非常重要的应用。它是在上世纪80年代在语音识别领域引起人们的重视的。
噪声信道模型的形式很简单,如图所示:
图1 噪声信道模型
噪声信道试图通过有噪声的输出信号恢复输入信号。它用下面的公式定义:
对于某一输入信号,此信号通过会产生噪声的转换信道得到输出信号,现在假设我们已知道输出信号,求解它的输入信号,那么就会用到此模型。
已知道输出为O,求解它的最大可能输入I,即在O下条件概率最大的那个I,通过贝叶斯公式转换就可以得到
对于某一个特定的输出,显然P(O)是不变的,所以可以不用管P(O),于是原式可以再次化简为argmaxP(o|I)P(I). 我们一般把P(I)叫做语言模型,P(O|I)叫做转换模型。