动手学习深度学习（总结梳理）——22. 循环神经网络（RNN）

 

1. 无隐状态的神经网络

2. 有隐状态的神经网络

import torch
from d2l import torch as d2l

X, W_xh = torch.normal(0, 1, (3, 1)), torch.normal(0, 1, (1, 4))
H, W_hh = torch.normal(0, 1, (3, 4)), torch.normal(0, 1, (4, 4))
torch.matmul(X, W_xh) + torch.matmul(H, W_hh)

 现在，我们沿列（轴1）拼接矩阵X和H， 沿行（轴0）拼接矩阵W_xh和W_hh。 这两个拼接分别产生形状(3,5)和形状(5,4)的矩阵。 再将这两个拼接的矩阵相乘， 我们得到与上面相同形状(3,4)的输出矩阵。

torch.matmul(torch.cat((X, H), 1), torch.cat((W_xh, W_hh), 0))

 3. 基于循环神经网络的字符级语言模型

4. 困惑度 

 5. QA

5.1 循环神经网络和递归神经网络是一个东西吗？如果不是有什么区别？

不是一个东西，递归我们没讲。递归和树神经网络很像，循环神经网络你可以理解是一个简单的递归神经网络。

5.2 中文需不需要分词，可否基于字来做？

数据量会大，英语一般用的是字根。后续会讲怎么实现的。

5.3 现在有没有什么vioce和image融合算法适合落地？

transformer现在在做那种多模态。落地要看场景，数据，以及具体的问题和场所。