假设RNN中的输入为2528,2是batchsize可以理解为有几句话,5是timestep可以理解为有几个词,28是vocab_size。如下就是两个句子,每个句子由5个单词组成。28则为每个单词的词向量,在此略去。
在输入的时候,首先需进行 X = F.one_hot(X.T, self.vocab_size).type(torch.float32)
,其中X.T将输入为2528的转变为5228,将时间步转变为第一个维度。因为我们只要在时间的维度上,才能观察到以前的信息。我们可以每次竖着观察,就是以时间步为第一维度。
RNN其中的X.reshape
最新推荐文章于 2024-08-06 15:10:31 发布
文章讲述了在RNN中,如何处理输入数据,包括2528的输入结构,其中2代表batchsize,5代表timestep,28代表vocab_size。通过F.one_hot函数将数据转为适合模型的格式,强调了时间步在观察序列信息中的重要性。
摘要由CSDN通过智能技术生成