语言模型是自然语言处理中对语句概率的建模，用于评估句子的合理性。常见模型包括统计语言模型如n-gram，以及神经网络语言模型如RNN。n-gram模型通过平滑技术解决零概率问题，而神经网络模型能捕捉更复杂的上下文依赖。文章介绍了n-gram的平滑技术类型和训练工具，并提到了神经网络模型的相关资源。
在学习自然语言处理是，发现CTC一般会配合语言模型（Language Model），用于提升最终的性能。那么，语言模型是什么呢？又是如何提升性能的？
看过一些关于语言模型的介绍，知乎上这一篇文章讲的稍显通俗易懂：https://zhuanlan.zhihu.com/p/52061158
语言模型的本质就是对语句概率的建模，输入一个语句，给出对应的概率，看看哪个语句的概率更高，更像人话。
常见的语言模型有两种：统计语言模型（n-gram），神经网络语言模型(RNN)
统计语言模型
n-gram 语言模型如下:
（1）当n=1时，称为uni-gram， P ( w 1 , w 2 , … , w n ) = ∏ i = 1 n P ( w i ) P\left(w_{1}, w_{2}, \ldots, w_{n}\right)=\prod_{i=1}^{n} P\left(w_{i}\right) P(w1,w2,…,wn)=
最低0.47元/天 解锁文章
2782
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
