mmlab的ai训练营第二课的课堂笔记

第二课笔记

这次课程分为这些方面

卷积网络的介绍

深度学习复兴的标志性事件是2012AlexNet，使得GPU在工程上大规模训练卷积网络成为可能。随后研究者尝试将网络加深，并且采用3x3的卷积核来替换大尺寸的卷积核，从理论上将2个3x3的卷积核感受野相当于5x5的卷积，这方便的代表工作是vgg和googlenet。但是发现随着层数的加深，会出现梯度消失的问题，这时resnet比较好地解决了这个问题，该方法引入残差的思路，将学习对象变成一个残差函数，减少了学习难度，使得模型训练可以达到一千层以上。后面不少研究基于resnet进行改进，提出了如resnext之类的网络。
随着算力地不断提升，一些公司如google，尝试利用网络搜索地方法学到一个好的backbone，这方面地代表工作有efficiennet，MnasNet 之类地。同时tranformer的attention思想也引入到网络结构涉及中，vit的成功，使得transformer在视觉领域大杀四方，但是由于计算量变大，swin-transformer还是将分层的思路，减少计算量。一些研究者从transformer受到引发，将大卷积引入其中，有31x31，甚至51x51这样大卷积。

轻量化卷积神经网

由于CNN需要部署到移动设备上，网络的轻量化也成了一个研究热点，思路有1x1卷积压缩channel数，可分离卷积将乘法变成加法，减少计算量，这方面代表性的工作是mobilenet和shufflenet

模型训练相关介绍

分类网络的模型训练，pipeline主要包括数据处理，模型backbone，分类的损失函数，优化器的策略，目前一些研究者在数据增强方面采用了mixup，CutMix，mosaic等策略，然后在标签上进行平滑。训练时采用batch normalization和dropout这些策略来提高训练模型的鲁棒性，学习率调整有早停，cosine学习率调整，还有模型权重平均这样的策略。
此外自监督学习我理解就是一种预训练的策略，提高backbone的特征提取能力，这样在训分类的时候收敛也更快
其实模型训练的要点也是mmcls框架设计的要点，从这些要点入手，学习如何修改config文件也可以用来去解析框架的设计，使用这个工具可以说遵循了开发封闭的原则，使用者只用扩展自己相应的数据处理类，模型类，学习率类等等就好了，非常方便就可以开始自己的研究