MMLab中自定义模块初始化方法

AI小白龙*

已于 2024-05-05 09:47:45 修改

阅读量362

点赞数 9

文章标签： python 人工智能开发语言 keras opencv YOLO MMLAB

于 2024-01-03 08:15:00 首次发布

本文链接：https://blog.csdn.net/2301_81940605/article/details/135334335

版权

这方面好像介绍的少，看了下基本原理，下面介绍下如何在搭载权重的模型中加入自定义模块时方便的进行初始化。

MMLab的逻辑时对每个部分进行初始化，若此部分定义了初始化方法为Pretrained则加载权重，然后对内部其他模块不再进行其他的初始化操作。

但其存在着一个问题。例如，需要对backbone改进，加入自定义模块后同时需要原模型的预训练权重，此时无法方便的对新加入模块进行初始化操作（因为代码决定其会跳过了此部分初始化，直接进行下一部分的初始化操作）。源代码如下（在BaseModule）中：

        if not self._is_init:
            if self.init_cfg:
                print_log(
                    f'initialize {module_name} with init_cfg {self.init_cfg}',
                    logger=logger_name)
                initialize(self, self.init_cfg)
                if isinstance(self.init_cfg, dict):
                    # prevent the parameters of
                    # the pre-trained model
                    # from being overwritten by
                    # the `init_weights`
                    if self.init_cfg['type'] == 'Pretrained':
                        return

            for m in self.children():
                if hasattr(m, 'init_weights'):
                    m.init_weights()
                    # users may overload the `init_weights`
                    update_init_info(
                        m,
                        init_info=f'Initialized by '
                        f'user-defined `init_weights`'
                        f' in {m.__class__.__name__} ')

            self._is_init = True

那么如何对自定义模块方便地进行初始化呢，下面介绍三种方法：

（1）定义一个my_weight_init（）对自定义模块中的所有module进行初始化操作，其优点是可操作性强，但设置复杂。代码如下：

def my_module_weights_init(target_module):
    for m in target_module.modules():
        if type(m) == nn.Conv2d:
            nn.init.xavier_normal_(m.weight.data)
            nn.init.constant_(m.bias.data, 0.0)

对自定义的模块的初始化直接调用apply即可。

（2）对于MMLab中定义好的模块，若其存在init_cfg则可直接输入相关设置参数进行初始化操作。

（3）最为方便的方法，在mmcv.cnn.utils.weight_init中存在initialize函数，可通过相关参数对函数内部所有相关层进行初始化操作，主要原理是建立初始化器的实例化对象，对模块参数进行处理。mmcv中目前可调用一下八种方法进行初始化，位于mmcv.cnn.utilsz中。

'ConstantInit', 'XavierInit', 'NormalInit', 'TruncNormalInit', 'UniformInit', 'KaimingInit', 'PretrainedInit', 'Caffe2XavierInit'

上述initialize方法的相关代码如下：

def my_module_weights_init(target_module, init_cfg):
    from mmcv.cnn.utils.weight_init import initialize
    initialize(target_module, init_cfg)

调用初始化方法的代码（可直接调用initialize方法，我为了方便好看改了个名）：

if self.training:
    my_module_init_cfg = [dict(type='TruncNormal', layer=['Conv2d', 'Linear'], std=.02, bias=0.), dict(type='Constant', layer=['LayerNorm'], val=1., bias=0.),]
    my_module_weights_init(self.gt_seg_downsample_layers, my_module_init_cfg)

欢迎补充其他方便的方法。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述