RNN循环神经网络-初探

闲言碎语不多讲，本文主要从循环神经网络中起源、应用、主要用途、遇到问题、以及解决方案5部分进行初步探究，具体如下：

 

• 起源：循环神经网络是在1982年由霍普菲尔德提出的，使用历史信息来帮助当前决策！
• 应用：传统的机器学习算法非常依赖于人工提取的特征，使得基于传统机器学习的图像识别、语音识别以及自然语言处理等问题存在特征提取的瓶颈。而基于全连接神经网络的方法也存在太多参数，无法利用数据中的时间序列信息等问题。 随着更加有效的循环神经网络结构的不断提出，循环神经网络挖掘数据中的时序信息以及予以信息的深度表达能力被充分利用，并在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破。
• 结构：循环神经网络一个重要的概念是时刻，它会对每一时刻的输入结合当前模型的撞他给出一个输出。例如图1所示 。循环神经网络的主体结构A的输入除了来至输入层 Xt ,还有一个循环的边来提供当前状态。在每一时刻，循环神经网络的模块A会读取 t 时刻的状态。在每一时刻，循环神经网络的模块A 会读取 t 时刻的输入Xt并输出一个值ht。同时A的状态会从当前步传递到下一步。因此，循环神经网络理论上可以被看作是同一神经网络结构被无限复制的结果。但出于优化考虑，目前循环神经网络无法做到真正的无线循环，现实中一般会将循环体展开。具体结构如图2所示。
•  
• 图1循环神经网络经典结构示意图             图2循环神经网络按时间展开后的结构
• 主要用途：处理和预测序列数据。
• 遇到问题：尤其在文本类数据信息挖掘中，预测位置和相关信息之间的文本间隔就可能变大。简而言之，就是会存在长期依赖。
• 解决方案： 面对为了解决长期依赖问题，Sepp Hochreiter 在1997年提出长短时记忆网络（Long short term memory,LSTM）结构。主要通过一些“门”的结构让信息有选择地影响循环神经网络中每一时刻的状态，LSTM结构可以更加有效地决定信息的遗忘和保留。
•  结构：输入门和遗忘门是LSTM的核心。
• 遗忘门：主要作用让循环神经网络“忘记”之前没用的信息。
• 原    理：根据当前的输入Xt，上一时刻的状态ct-1,和上一时刻的输出ht-1,共同决定哪一部分记忆需要被遗忘。
•         输出门：在循环神经网络“忘记”了部分之间状态后，他还需要从当前的输入补充最新的记忆。
• 原   理：输出门会根据Xt ，ct-1，ht-1决定哪部分将要进入当前时刻的状态ct。