说明与介绍
全新升级的预训练开源算法框架
MMClassification和 MMselfSup两个算法库合并而成;
模型
主干模型
残差网络:因为深层网络会使得效果变差,引入残差模块 y = ( 1 + g ) h y = (1+g)h y=(1+g)h
vision transformer:将图像化为16x16小块,线性映射展开的块,通过Transformer Encoder计算,主要是生成Q,K,V。。。
自监督学习
基于各种代理任务
基于对比学习: SimCLR,正样本和负样本,自身的两次数据增强互为正样本,其他为负样本
基于掩码学习:Masked Autoencoder,模型只有理解图片内容,掌握图片的上下文信息,才能恢复出图片中被随机遮挡的内容
多模态学习
CLIP Contrastive预训练,计算图像文本对的相似度;从标签中创造数据分类器
BLIP 有三种loss分别用作ITC(特征区分) ITM( 特征匹配)LM(文字生成)
BLIP2
Flamingo
Kosmos-1
LLaVA
- backbone 特征提取器
- necks 承接backbone和head之间的计算(高维特征解码,多尺度特征融合等)
深度学习模型
- 模型结构
模型层数,通道数
- 数据
数据集划分
batch
path
数据增强
经过Dataloader 输出 ①Input 为torch.Tensor;②DataSamples为其他相关信息
- 训练优化
优化算法
epoch
learning rate
训练计算出loss和DataSamples:预测结果等;
DataSamples经过Evaluator形成一个准确性等的列表
loss经过优化器然后反向传播
- 运行时
- 辅助功能
多少轮保存一次
打印日志
怎么运行
- 准备好数据文件
- 配置文件
- 训练测试推理工具
- 使用内部模块加载预训练模型