魏圣颖的博客

一谈到 NLP，大家都听说过 Transformer， Self-attention 这些词汇，以及 Attension is all you need 这篇论文。 大家可能多多少少看过这类博客，对这些概念有一些了解，什么 QKV呀， encoder， decoder呀。我也看过，但是对 multiHeadAttention 一直以来都是迷迷糊糊的，主要是一些 shape 的变换把人搞懵了。本博客站在大家的肩膀上整理了下，描述这些概念的同时，加上 shape 的说明，让这些概念更清晰。最后用代码复现论文中的