fairseq transformer训练中的一些问题

fairseq transformer训练中的一些问题

---

这两天看fairseq transformer的代码，并在服务器用transformer跑实验。今天遇到一些问题，和师兄进行了一些交流，记录下来。

另一篇梳理nlp中的一些英文名词的还在写，整理好再发布。

transformer中的数据的流向和形式的变化？

1. 在训练前，数据基本都是以 $batch\_size\ast src\_len$ 的形式传入，即 维度为（句子数，单词数） 的一个矩阵。

   假设现在有3个句子：

   s1: I am a student.

   s2: I like play basketball.

   s3: I have a dog.

   那么，在输入之前，src数据就是这样的形式：

I	am	a	student	.
I	like	play	basketball	.
I	have	a	dog	.

也就是按一句一行，每一行都有src_len个单词。不过真正传入的不是单词，而是单词的token，即在词典中的位置。

2. 在传入模型之前，会对数据进行embedding操作。embedding简单来说就是对每个token进行以dim为维度的扩展。在《attention is all you need》中，dim即d_model = 512。如果把源数据视为一个长方形，那么经过embedding后，数据就变成了长方体，它的维度为 b a t c h _ s i z e ∗ s r c _ l e n ∗ d i m batch\_size * src\_len * dim