【openMMLab实战营】5.MMPreTrain

说明与介绍

全新升级的预训练开源算法框架
MMClassification和 MMselfSup两个算法库合并而成；

模型

主干模型

残差网络：因为深层网络会使得效果变差，引入残差模块$y=(1+g)h$
vision transformer：将图像化为16x16小块，线性映射展开的块，通过Transformer Encoder计算，主要是生成Q，K，V。。。

自监督学习

基于各种代理任务
基于对比学习： SimCLR，正样本和负样本，自身的两次数据增强互为正样本，其他为负样本
基于掩码学习：Masked Autoencoder，模型只有理解图片内容，掌握图片的上下文信息，才能恢复出图片中被随机遮挡的内容

多模态学习

CLIP Contrastive预训练，计算图像文本对的相似度；从标签中创造数据分类器
BLIP 有三种loss分别用作ITC（特征区分） ITM（ 特征匹配）LM（文字生成）
BLIP2
Flamingo
Kosmos-1
LLaVA

• backbone 特征提取器
• necks 承接backbone和head之间的计算（高维特征解码，多尺度特征融合等）

深度学习模型

• 模型结构

模型层数，通道数

• 数据

数据集划分
batch
path
数据增强
经过Dataloader 输出 ①Input 为torch.Tensor;②DataSamples为其他相关信息

• 训练优化

优化算法
epoch
learning rate
训练计算出loss和DataSamples：预测结果等；
DataSamples经过Evaluator形成一个准确性等的列表
loss经过优化器然后反向传播

• 运行时
• 辅助功能

多少轮保存一次
打印日志

怎么运行

• 准备好数据文件
• 配置文件
• 训练测试推理工具
• 使用内部模块加载预训练模型