在学习自然语言处理是,发现CTC一般会配合语言模型(Language Model),用于提升最终的性能。那么,语言模型是什么呢?又是如何提升性能的?
看过一些关于语言模型的介绍,知乎上这一篇文章讲的稍显通俗易懂:https://zhuanlan.zhihu.com/p/52061158
语言模型的本质就是对语句概率的建模,输入一个语句,给出对应的概率,看看哪个语句的概率更高,更像人话。
常见的语言模型有两种:统计语言模型(n-gram),神经网络语言模型(RNN)
统计语言模型
n-gram 语言模型如下:
(1)当n=1时,称为uni-gram, P ( w 1 , w 2 , … , w n ) = ∏ i = 1 n P ( w i ) P\left(w_{1}, w_{2}, \ldots, w_{n}\right)=\prod_{i=1}^{n} P\left(w_{i}\right) P(w1,w2,…,wn)=