weixin_43963833的博客

原创 【Transformer】手撕MultiHeadSelfAttention

作为基础知识再深挖一下 MultiHeadSelfAttention 具体意义（面试也可能手撕）欢迎指教～## 定义变量self.scale = self.head ** -0.5 # 正则化系数## 定义网络self.to_qkv = nn.Linear(self.dim, self.inner_dim * 3) # qkv初始化后维度对应每个head dim, 一共有3个所以*3。