- 博客(1)
- 收藏
- 关注
原创 思考随笔1-正确理解MultiHeadAttention
其实两种理解方式都存在,论文的理解方式是每个头的Q,K,V都是完整的,维度都为d_model,最后再通过一个线形层映射回d_model。而本篇针对的引文中的理解方式限制每个头能够提取的特征范围,即每个头负责一块区域,也印证了维度为什么是d_model/n_head。②seq_len(time):每个样本的时序信息,或者说每句话有几个字,假设我有两个样本:"你好", "我是丁真",两句话中最长句包含四个字,那么可以将time设置为4,长度小于4的句子也将用空白符填充至4位。④n_head:头的数量。
2024-07-13 20:30:03
444
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人