MMPreTrain算法库介绍
模型:主干模型 自监督学习 多模态学习
数据集支持
易用性
训练技巧与策略
python推理API
图像分类 图像描述 视觉问答 视觉定位 检索
环境搭建
openmmlab 软件栈
OpenMMLab项目中的重要概念——配置文件
模型结构 数据 训练优化
代码框架
数据流
将图像切割成小块,排列成词向量,经过线性层映射,产生特征向量
实现层次化特征:后层特征是空间邻域内的加权求和
权重是可学习的参数
自监督学习
SimCLR对比学习:
如果模型能很好的提取图片内容的本质,无论图片经过怎样的数据增强操作,提取出的特征都极为相似
Masked Autoencoders 模型只有理解图片内容,才能恢复被遮挡的部分