Pytorch 参数初始化以及Xavier初始化

最新推荐文章于 2025-08-11 15:31:24 发布

转载最新推荐文章于 2025-08-11 15:31:24 发布 · 1.4w 阅读

文章标签：

#pytorch #xavier #init

深度学习专栏收录该内容

2 篇文章

订阅专栏

博客介绍了在网络类中定义初始化函数，并通过net._initialize_weights()进行初始化，还给出了Xavier的具体讲解参考链接http://www.cnblogs.com/hejunlin1992/p/8723816.html 。

    def _initialize_weights(self):
        # print(self.modules())

        for m in self.modules():
            print(m)
            if isinstance(m, nn.Linear):
                # print(m.weight.data.type())
                # input()
                # m.weight.data.fill_(1.0)
                init.xavier_uniform_(m.weight, gain=1)
                print(m.weight)

可以再网络的类中定义初始化初始化函数

通过net._initialize_weights()进行初始化

Xavier的具体讲解可以参考

http://www.cnblogs.com/hejunlin1992/p/8723816.html