LSTM与RNN的优势

随着深度学习的研究取得较大进展，基于人工神经网络的机器翻译（Neural Machine Translation）逐渐兴起。其技术核心是一个拥有海量结点（神经元）的深度神经网络，可以自动的从语料库中学习翻译知识。一种语言的句子被向量化之后，在网络中层层传递，转化为计算机可以“理解”的表示形式，再经过多层复杂的传导运算，生成另一种语言的译文。实现了“理解语言，生成译文”的翻译方式。这种翻译方法最大的优势在于译文流畅，更加符合语法规范，容易理解。相比之前的翻译技术，质量有“跃进式”的提升。
目前，广泛应用于机器翻译的是长短时记忆（Long Short-Term Memory）循环神经网络(RNN，Recurrent Neural Network)。该模型擅长对自然语言建模，把任意长度的句子转化为特定维度的浮点数向量，同时“记住”句子中比较重要的单词，让“记忆”保存比较长的时间。该模型很好地解决了自然语言句子向量化的难题，对利用计算机来处理自然语言来说具有非常重要的意义，使得计算机对语言的处理不再停留在简单的字面匹配层面，而是进一步深入到语义理解的层面。
循环神经网络模型（RNN）是一种节点定向连接成环的人工神经网络，是一种反馈神经网络，RNN利用内部的记忆来处理任意时序的输入序列，并且在其处理单元之间既有内部的反馈连接又有前馈连接，这使得RNN可以更加容易处理不分段的文本等。但是由于RNN只能对部分序列进行记忆，所以在长序列上表现远不如短序列，造成了一旦序列过长便使得准确率下降的结果。
长短期记忆模型（LSTM）是RNN模型的一种特殊结构类型，其增加了输入门、输出门、忘记门三个控制单元（“cell”），随着信息的进入该模型，LSTM中的cell会对该信息进行判断，符合规则的信息会被留下，不符合的信息会被遗忘，以此原理，可以解决神经网络中长序列依赖问题。
(1)、如果您在阅读博客时遇到问题或者不理解的地方，可以联系我，互相交流、互相进步；
(2)、本人业余时间可以承接毕业设计和各种小项目，如系统构建、成立网站、数据挖掘、机器学习、深度学习等。有需要的加QQ:1143948594，备注“csdn项目”。