MMCV预训练工具箱MMPreTrain

MMPreTrain是一个预训练开源算法框架，提供各种强大的预训练主干网络，并支持不同的预训练策略。

代码仓库: https://github.com/open-mmlab/mmpretrain

文档教程: https://mmpretrain.readthedocs.io/en/latest/

支持开箱即用的推理API和模型，包含丰富的相关任务：图像分类--图像描述--视觉问答--视觉定位---检索。

MMPreTrain安装步骤：

 代码框架：

 数据流：

 

 配置文件：

深度学习模型的训练涉及几个方面：

--模型结构   模型有几层、每层多少通道数

--数据          数据集划分、数据文件路径、批大小、数据增强策略

--训练优化   梯度下降算法、学习率参数、epoch、学习率变化策略

--运行时      GPU、分布式环境配置

--辅助功能    如打印日志、定时保存cheakpoint等

配置文件运作方式：

 残差学习集的基本思路：

 残差网络ResNet的残差模块：

分布用于浅层网络和深层网络 

ResNet网络结构：

 -5级，每级包含若干残差模块，不同残差块个数不同ResNet结构

-每级输出分辨率减半，通道倍增

-全局平均池化压缩空间维度

-单层全连接层产生概率类别

推荐学习视频：6.2 使用pytorch搭建ResNet并基于迁移学习训练_哔哩哔哩_bilibili

Transformer：

 注意力机制 Attention：通过注意力机制可以对图像中最重要的特征进行提取和建模

 1D数据注意力机制计算逻辑：

 通过Q查询对应的K经过softmax得到二维卷积权重，与v相乘得到最后结果。