wangh09的博客

原创 【深度学习基础】Vision Transformer 中的 Layer Norm

Layer Norm 是 NLP 常用的归一化层，在ViT中被引入到CV领域。本文对Layer Norm和CV中常用的Batch Norm进行对比来展示这两种运算的相同与不同之处。