qq_57726128的博客

原创 思考随笔1-正确理解MultiHeadAttention

其实两种理解方式都存在，论文的理解方式是每个头的Q，K，V都是完整的，维度都为d_model，最后再通过一个线形层映射回d_model。而本篇针对的引文中的理解方式限制每个头能够提取的特征范围，即每个头负责一块区域，也印证了维度为什么是d_model/n_head。②seq_len（time）：每个样本的时序信息，或者说每句话有几个字，假设我有两个样本："你好", "我是丁真"，两句话中最长句包含四个字，那么可以将time设置为4，长度小于4的句子也将用空白符填充至4位。④n_head：头的数量。