MMPreTrain是OpenMMLab的一个新框架，融合了MMSelfSup和MMClassification，支持多模态预训练和多种任务。它提供丰富的预训练模型、数据集和推理API，包括图像分类、图像描述等任务。经典主干网络如ResNet和Vision Transformer在其中得到应用，ResNet以残差结构著称，而Vision Transformer利用注意力机制进行全局特征学习。
以下文字仅是一个入门小白的课堂笔记分享，如有不妥之处，恳请各位朋友指出！
MMPreTrain算法库介绍
-
算法库与任务组成
MMPreTrain是一个新的升级框架，它源自于MMSelfSup和我们熟悉的MMClassification，因为这两个算法库在模型功能等一些方面存在重合的部分，核心开发者便把他们合成MMPreTrain，旨在成为一个易于使用和用户友好的代码库，并简化学术研究和工程任务。另外，MMPreTrain也合入了多模态相关的功能，支持多种多模态算法和下游任务。
-
框架概览
（图源OpenMMLab AI实战营PPT 下同）
MMPreTrain除了有以上丰富的预训练模型、多种数据集，还支持开箱即用的推理API和模型，包含的相关任务有：图像分类（Image Classification）、图像描述（Image Caption）、视觉问答（Visual Question Answering）、视觉定位（Visual Grounding）、检索（Retrieval,Image-To-Image,Text-To-Image,Image-To-Text）。
MMPreTrain
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
