基于RNN和Transformer模型的自然语言处理研究综述

基于RNN和Transformer模型的自然语言处理研究综述

研究背景

深度学习

深度学习(deep learning)是人工智能的深层次理论。深度学习与普通的浅层次学习最大的不同就在于其神经网络的层数更深，通过对输入特征进行逐层地变换并向更深层次传播，这样就能够将特征从原空间转换到一个新的特征空间从而使数据分析更加容易，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果。

NLP

 自然语言处理简称NLP(natural language processing)，是深度学习的一个主要方向，也是机器学习的重要组成部分。它是人工智能方向中专门研究人类语言的。NLP的主要神经网络模型包括RNN(recurent neural network)、LSTM(long short-term memory) 、Transformer等。通过结合RNN、LSTM以及Transformer模型来对自然语言处理研究的发展进行说明和探讨。

自然语言处理定义

自然语言处理(NLP)是一门用来分析人类语言以及对相关信息进行处理的人工智能方向技术。通过对NLP的研究，我们能够实现人类和计算机系统之间使用自然语言进行交互，由于NLP本身需要运用语言学、数学以及计算机科学等方面的技术，所以NLP是一门综合性的人工智能技术。 

自然语言处理的工作步骤

研究内容

神经网络模型和优化算法迭代

循环神经网络

循环神经网络(recurrent neural network,RNN)