自然语言处理的应用

自然语言处理的应用

自然语言处理是人工智能和语言学领域的分支学科。对于自然语言处理我的理解是，把自然语言通过一些方法变成机器能理解的的高纬度数据。

自然语言处理有以下需要解决的问题，1.单词边界的界定 2.一词多义 3.不规范的输入。词与词之间通常是连贯的，不同的断句会使句子有不同的语义，而且同一个单词可能会有几种不同的语义，再
加上不同地方口音不同会产生有歧义的输入。都会使自然语言处理产生各种各样的阻力。

自然语言处理通常运用在语音识别、机器翻译、问答系统。深度学习中的LSTM循环神经网络在处理时序数据有着优越的性能，因此在处理自然语音上有着卓越的表现。打个比方，一篇文章的想要表达的内容由文章当前的语句，前文的语句，以及下文的语句共同组成，而且对于文章的中心思想所贡献的比例也是不同的。我们可以通过深度学习将这种比例关系学习出来，而LSTM循环神经网络就是为了处理自然语言问题而设计的。LSTM模型主要由三个门组成，即遗忘门、输入门、和输出门。遗忘门决定保留多少上一时刻的单元状态到当前时刻的单元状态；输入门决定保留多少当前时刻的输入到当前单元状态；输出门决定输出多少当前时刻的单元状态作为下一刻的单元状态输入。