上图是一个具体的例子,其中batch_size=2,t=5,vocab=28。第二行代码将(2,5)的二阶张量先打个转置(T),然后再用独热函数将X.T变为三阶张量,即(时间步数, 批量大小, 词表大小),那么为什么要这么做呢?
下面是我的一点理解,作为抛砖引玉:假如不做T转置,进行独热后的三阶张量是( 批量大小, 时间步数,词表大小),当将其作为input输入网络时,由于RNN的时序特性(不做赘述),必须按照步数从0依次到4,也就是5个时间步。给一个不转置例子:
像上图那样取数首先不符合人的思维习惯,并且方便编写程序,从第一个时间步开始到第五个时间步逐次抽取后面两维度的二阶张量。而且数据在内存中大多是行优先存储,对数据的取数速度会比转置后的慢一些。欢迎指正补充~