Pytorch权重初始化方法——Kaiming、Xavier
Pytorch权重初始化方法——Kaiming、Xavier结论结论写在前。Pytorch线性层采取的默认初始化方式是Kaiming初始化,这是由我国计算机视觉领域专家何恺明提出的。我的探究主要包括:为什么采取Kaiming初始化?考察Kaiming初始化的基础——Xavier初始化的公式考察Kaiming初始化的公式用Numpy实现一个简易的Kaiming初始化为什么采取Kaiming初始化?采取固定的分布?当考虑怎么初始化权重矩阵这个问题时,可以想到应该使得初始权重具有随机性。提到
原创
2021-04-26 00:40:46 ·
16349 阅读 ·
3 评论