好像是qi 服从(0,1)正态分布,q * k 服从 (0,d)正态分布,除以根号d,就保证得到的乘积仍然满足N(0,1)
Transformer
最新推荐文章于 2024-01-03 15:52:56 发布
好像是qi 服从(0,1)正态分布,q * k 服从 (0,d)正态分布,除以根号d,就保证得到的乘积仍然满足N(0,1)