Pytorch - 参数初始化

nightluo

于 2022-10-06 15:43:05 发布

阅读量754

点赞数

分类专栏： # 深度学习基础文章标签： python

本文链接：https://blog.csdn.net/weixin_45807767/article/details/127161949

版权

深度学习基础专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一、参数初始化

二、参数初始化方法
1、系统默认的初始化方法：
（1）Conv

    def reset_parameters(self):
        n = self.in_channels
        for k in self.kernel_size:
            n *= k
        stdv = 1. / math.sqrt(n)
        self.weight.data.uniform_(-stdv, stdv)
        if self.bias is not None:
            self.bias.data.uniform_(-stdv, stdv)

（2）Linear

    def reset_parameters(self):
        stdv = 1. / math.sqrt(self.weight.size(1))
        self.weight.data.uniform_(-stdv, stdv)
        if self.bias is not None:
            self.bias.data.uniform_(-stdv, stdv)

（3）BN

    def reset_parameters(self):
        self.reset_running_stats()
        if self.affine:
            self.weight.data.uniform_()
            self.bias.data.zero_()