自然语言处理模型_自然语言处理

本文链接：https://blog.csdn.net/weixin_33873956/article/details/112577310

1. 什么是语言模型

语言模型是针对某种语言的概率模型，目的是建立能够描述给定词序列在语言中出现的概率分布。简单地说，语言模型就是用来计算一个句子是否合理的概率。
对于语言序列W1,W2,...,Wn,语言模型就是计算该序列的概率，即P(W1, W2,...,Wn)，例如P(我爱学习) > P(习学爱我)。
此时你可能觉得语言模型很简单或者认为它没有什么大的存在价值，但事实上它应用非常广泛，而且也并不是如我们想象的那么简单。
语言模型起源于语音识别，输入一段音频数据，语音识别系统通常会生成多个句子作为候选，究竟哪个句子更合理？就需要用到语言模型对候选句子进行排序。如今语言模型的应用范围早已扩展到机器翻译、拼写检查、问答、文摘等众多NLP领域。
一直以来，如何让计算机可以理解我们人类的语言，都是人工智能领域的大问题。作为自然语言处理(Natural Language Processing，NLP)系统的核心组件，现在的语言模型(Language Model，LM)不仅能够提供词序列的联合概率，还能够提供词的向量表示。

2. 有哪些语言模型

构建一个语言模型有很多方法，早期的语言模型是基于规则构建的，它既费时又费力，而且并不能涵盖多种语言学现象。直到 20 世纪 80 年代，人们提出了统计语言模型，引入概率来表示单词序列的合理性。21世纪初，百度深度学习研究院的徐伟提出了用神经网络来训练语言模型的思想，Bengio提出了第一个前馈神经网络语言模型(FFNNLM)，神经网络语言模型也凭借着良好的性能发展非常迅猛。下面我将对统计语言模型(N-gram)和神经网络语言模型(Bengio提出的FFNNLM)做详细阐述。