Deep learning学习笔记

1. RNN中的隐藏单元数是什么

参考这篇博客中对于隐藏层数量的解释（https://blog.51cto.com/u_16213598/10154980），还有简单RNN存在的梯度消失和梯度爆炸的解释。

the number of layers that make up the RNN, typically 1-3; greater than 1 means that you’ll create a stacked RNN

关于梯度消失和梯度爆炸：在RNN反向传播时（BPTT），需要寻找最优的参数，但是累乘会导致激活函数导数的累乘，同时还有权重的累乘。如果权重小于1，那么就会产生梯度消失的问题，同理当权重大于1，则会产生梯度爆炸现象。

2. torch.Tensor(data).unsqueeze(0)怎么理解？

torch.unsqueeze()是PyTorch库中的一个函数，它被用来在输入张量的特定维度上增加一个维度。这是一个很常用的函数，可以用来改变张量的形状和结构。

函数的参数是输入张量和要增加的维度的位置。具体来说，如果你有一个形状为(N, M)的二维张量，torch.unsqueeze(tensor, 0)会在第一维（即N）后面增加一个维度，得到形状为(1, N, M)的张量。如果你在第二维（即M）后面增加一个维度，那么你会得到形状为(N, 1, M)的张量。
（参考https://blog.csdn.net/AI_dataloads/article/details/134340453）

3. 神经网络中的Embedding怎么理解？

参考：https://zhuanlan.zhihu.com/p/565095548
Embedding，简单理解，就是做一个映射变换，将一个数字映射成一组向量

1. 首先把样本数据单元进行数字化（例如文本数据中，单词（token）与数字一一对应，token_to_idx）
2. embedding：上面已经完成了文本单元数字化的操作，理论上你可以直接把这些数字放入到神经网络中去，但是人工智能学者更愿意再进行一个特征提取操作。也就是用一个特征向量来表示某一个文本单元，对应于他的数字化后的数字，就是这个数字又对应于一个特征向量，这个过程叫做embedding。假设总共有100个不同的文本单元构成了一大段文本，这100个单位有映射到100个不同的数字来代替，然后这100个数字又分别用100个向量来代替，这100个数字映射到100个向量就会形成一个M矩阵，每次要输入一个文本单元（词元）时，就会找它对应的数字，再通过查找M矩阵，把这个数字对应的向量输入到神经网络中进行训练。