fairseq transformer训练中的一些问题
这两天看fairseq transformer的代码,并在服务器用transformer跑实验。今天遇到一些问题,和师兄进行了一些交流,记录下来。
另一篇梳理nlp中的一些英文名词的还在写,整理好再发布。
transformer中的数据的流向和形式的变化?
-
在训练前,数据基本都是以 b a t c h _ s i z e ∗ s r c _ l e n batch\_size*src\_len batch_size∗src_len 的形式传入,即 维度为(句子数,单词数) 的一个矩阵。
假设现在有3个句子:
s1: I am a student.
s2: I like play basketball.
s3: I have a dog.
那么,在输入之前,src数据就是这样的形式:
I | am | a | student | . |
I | like | play | basketball | . |
I | have | a | dog | . |
也就是按一句一行,每一行都有src_len个单词。不过真正传入的不是单词,而是单词的token,即在词典中的位置。
-
在传入模型之前,会对数据进行embedding操作。embedding简单来说就是对每个token进行以dim为维度的扩展。在《attention is all you need》中,dim即d_model = 512。如果把源数据视为一个长方形,那么经过embedding后,数据就变成了长方体,它的维度为 b a t c h _ s i z e ∗ s r c _ l e n ∗ d i m batch\_size * src\_len * dim