代码仓库:GitHub - open-mmlab/mmpretrain: OpenMMLab Pre-training Toolbox and Benchmark
文档教程:Welcome to MMPretrain’s documentation! — MMPretrain 1.0.0rc8 documentation
MMPreTrain介绍
MMPretrain 是一个全新升级的预训练开源算法框架,旨在提供各种强大的预训练主干网络,并支持了不同的预训练策略。
MMPretrain 源自 MMClassification 和 MMSelfSup,并开发了许多令人兴奋的新功能。目前,预训练阶段对于视觉识别至关重要,凭借丰富而强大的预训练模型,我们能够改进各种下游视觉任务。我们的代码库旨在成为一个易于使用和用户友好的代码库,并简化学术研究活动和工程任务。
支持多模态
代码框架及目录结构
数据流
配置文件运作方式
经典主干网络
精度退化问题
实验的反直觉
ResNet中的俩种残差模块
残差网络ResNet(2015)
ResNet的成就和影响力
Vision Transformer(2020)
注意力机制Attention Mechanism
什么是注意力机制
1D数据的注意力机制
Multi-head
自监督学习
SimCLR(ICML 2020)
Masked Autoencoders(MAE,CVPR2022)
自监督学习
多模态算法
CLIP(ICML 2021)
BLIP(ICML 2022)