Transformers代码笔记系列1(T5 model）

重要参数注释

• past_key_value: 只有Decoder模型在文本生成过程（训练过程用不上）中才能用到。顾名思义，它存储的是Decoder模型在t时刻前输入的token对应的key和value映射，用于减少计算，将input在Wk、Wv上的映射存储起来，进行下一个词预测时，就可以直接拿过来用了。它包括self_attention和cross_attention对应的key、value映射。单个key或者value单元shape：【batch_size, n_heads, q_len-1, dim_per_head】
• past_key_values:将每一层的past_key_value都存在其中
• present_key_value_states：记录当前t-step时刻token-t对应的key和value值，并继续扩充到past_key_value中。它作为t+1步时的past_key_values进行输入
• key_value_states: 等于encoder_hidden_states, 在self_attention中为空

部分mask参数

• attention_mask
• encoder_attention_mask
• head_mask: if we should keep the heads or not, 它的shape:【num_hidden_layers, batch, num_heads, seq_length, seq_length】
• cross_attn_head_mask: 与head_mask功能相同，只是针对的是cross_attention

相对位置编码

T5模型只是在 KiVj 的基础上添加了一个可学习偏置KiVj +b，只是此处的b由相对位置(i-j)和head_num决定。该偏置参数为：nn.Embedding(relative_num_buckets, n_heads), 此处的relative_num_buckets相当于分桶编号，具体介绍可以参考苏神的文章：https://kexue.fm/archives/8130