浅谈Transformer的初始化、参数化与标准化 如果不除 d \sqrt{d} d 的话方差过大,会导致softmax之后接近于one hot,最终导致梯度消失 针对多次提到的norm 问题,post norm与pre norm都一般,作者提出使用参数化训练,初始化为0,之后慢慢增加