时序数据的采样
在训练中我们需要每次随机读取小批量样本和标签。与之前章节的实验数据不同的是,时序数据的一个样本通常包含连续的字符。假设时间步数为5,样本序列为5个字符,即“想”“要”“有”“直”“升”。该样本的标签序列为这些字符分别在训练集中的下一个字符,即“要”“有”“直”“升”“机”,即X=“想要有直升”,Y=“要有直升机”。
现在我们考虑序列“想要有直升机,想要和你飞到宇宙去”,如果时间步数为5,有以下可能的样本和标签:
- X:“想要有直升”,Y:“要有直升机”
- X:“要有直升机”,Y:“有直升机,”
- X:“有直升机,”,Y:“直升机,想”
- ...
- X:“要和你飞到”,Y:“和你飞到宇”
- X:“和你飞到宇”,Y:“你飞到宇宙”
- X:“你飞到宇宙”,Y:“飞到宇宙去”
可以看到,如果序列的长度为T,时间步数为n,那 么一共有T−n个合法的样本,但是这些样本有大量的重合,我们通常采用更加高效的采样方式。我们有两种方式对时序数据进行采样,分别是随机采样和相邻采样。
随机采样
每次从数据里随机采样一个小批量。其中批量大小batch_size
是每个小批量的样本数,num_steps
是每个样本所包含的时间步数。 在随机采样中,每个样本是原始序列上任意截取的一段序列&#x