从RNN到Attention到Transformer系列-RNN介绍、手动计算验证

深度学习知识点总结

专栏链接:
深度学习知识点总结_Mr.小梅的博客-CSDN博客
本专栏主要总结深度学习中的知识点，从各大数据集比赛开始，介绍历年冠军算法；同时总结深度学习中重要的知识点，包括损失函数、优化器、各种经典算法、各种算法的优化策略Bag of Freebies (BoF)等。

本章介绍从RNN到Attention到Transformer系列-RNN

---

目录

3.1 RNN

3.1.1 RNN介绍

3.1.2 PyTorch中RNN的计算

3.1.3 RNN手动计算验证

3.1.4 RNN存在的问题

---

3.1 RNN

3.1.1 RNN介绍

        循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。

        对循环神经网络的研究始于二十世纪80-90年代，并在二十一世纪初发展为深度学习（deep learning）算法之一，其中双向循环神经网络（Bidirectional RNN, Bi-RNN）和长短期记忆网络（Long Short-Term Memory networks，LSTM）是常见的循环神经网络。

        循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势。

        循环神经网络在自然语言处理（Natural Language Processing, NLP），例如语音识别、语言建模、机器翻译等领域有应用，也被用于各类时间序列预报。引入了卷积神经网络（Convolutional Neural Network,CNN）构筑的循环神经网络可以处理包含序列输入的计算机视觉问题。

         每个矩形都是一个向量，箭头表示函数（例如矩阵乘法）。输入向量为红色，输出向量为蓝色，绿色向量保持RNN的状态（稍后将详细介绍）。

从左到右：

1. 没有RNN的普通处理模式，从固定大小的输入到固定大小的输出（例如图像分类）。
2.  序列输出（例如，图像字幕拍摄图像并输出单词句子）。
3. 序列输入（例如，情绪分析，其中给定的句子被归类为表达积极或消极的情绪）。
4. 序列输入和序列输出（例如机器翻译：RNN用英语读取句子，然后用法语输出句子）。
5. 同步序列输入和输出（例如，我们希望标记视频的每一帧的视频分类）。请注意，在每种情况下，长度序列上都没有预先指定的约束，因为循环变换（绿色）是固定的，可以根据需要多次应用。

RNN的基本形状：