AI实战营第四课笔记

深度学习预训练与MMPreTrain

视频链接: 深度学习预训练与MMPretrain_哔哩哔哩_bilibili

1. MMPretrain算法库介绍

框架概览: 来自MMClassification 和 MMSelfUp, 预训练主干网络

代码仓库: https://github.com/open-mmlab/mmpretrain

文档教程: 欢迎来到 MMPretrain 中文教程！ — MMPretrain 1.0.0rc8 文档

算法库与任务组成: 数据->数据读取->模型输入->模型输出->梯度反向传播

2. 经典主干网络

ResNet: 利用残差结构解决深度网络在反向传播时出现的梯度消失.

Vision Transformer: 自注意力机制来增强关键信息的学习

3. 自监督学习

 SimCLR: 对比学习, 拉近正样本之间的相似度, 拉远负样本之间的相似度

MAE: 通过掩码，恢复出原图，来达到对整体图像的把握

4. 多模态算法

 CLIP

BLIP