OpenMMLab AI实战训练营【第二期】【第一堂课笔记】

OpenMMlab

主页：openmmlab.com

开源地址：https://github.com/open-mmlab

学习视频地址：https://www.bilibili.com/video/BV1js4y1i72P/

概述

开源成为人工智能行业发展引擎

时间轴

• theano：2007
• Caffe：2013
• TensorFlow：2015
• mxnet：2015
• 飞桨：2016
• CNTK：2016
• Caffe2:2017
• Pytorch：2017
• OpenMMLab：2018

统一的深度学习框架 -> 统一的算法框架和生态

OpenMMLab发展历程

OpenMMLab总体框架

 

OpenMMLab现状

1架构：所有项目基于一致架构开发

30+研究方向：涵盖多个研究热点方向，算法覆盖完善

300+算法：包括300+先进算法，性能领先

2400+ 预训练模型：用友超过2400个预训练模型，真正实现开箱即用

OpenMMLab算法代表库

目标检测算法库MMDetection

开源地址：github.com/open-mmlab/mmdetection

• 任务支持：目标检测、实例分割、全景分割
• 涵盖广泛：440+预训练模型、75+主流+前沿算法、主流学术数据集
• 算法丰富：两阶段检测器、一阶段检测器、级联检测器、无锚框检测器、Transformer
• 使用方便：训练工具、测试工具、推理API

目标检测算法库 MMYOLO

开源库地址：https://github.com/open-mmlab/mmyolo

文字检测识别算法库 MMOCR

开源库地址：https://github.com/open-mmlab/mmocr

• 效果极佳的预训练模型
• 主流学术数据集支持
• 丰富的训练技巧

3D目标检测算法库 MMDetection3D

开源库地址：https://github.com/open-mmlab/mmdetection3d

• 7个数据集 40+算法 130+个预训练模型

旋转目标检测算法库MMRotate

开源仓地址：https://github.com/open-mmlab/mmrotate

图像分割算法库 MMSegmentation

开源仓地址：https://github.com/open-mmlab/mmsegmentation

• 算法丰富：600+个预训练模型
• 模块化设计：配置简便、容易拓展
• 统一超参：大量消融实验、支持公平对比
• 使用方便：训练工具、测试工具、推理API

图像分类+预训练+多模态算法库MMPretrain

开源仓地址：https://github.com/open-mmlab/mmpretrain

• 图像分类
• 图像描述
• 视觉问答
• 视觉定位
• 检索

模型库支持了77个算法，共计508个预训练模型

包含了：

• 丰富的主干网络，入CNN、ViT等
• 多种自主监督测录，对比学习，掩码学习等
• 前言的多模态算法、BLIP系列、OFA等

同时提供了详细的文档教程，包括但不限于

• 入门教程
• 进阶教程
• 可视化
• 分析工具
• 部署文档
• 迁移教程
• 代码API等

姿态估计算法库MMPose

开源仓地址：https://github.com/open-mmlab/mmpose

三维人体姿态估计算法库MMHuman3D

开源仓地址：https://github.com/open-mmlab/mmhuman3d

视觉动作识别算法库 MMAction2

开源仓地址：https://github.com/open-mmlab/mmaction2

• 全面支持：动作识别、时序检测、时序检测
• 算法丰富：200+个预训练模型、20+篇论文复现
• 更有更快：训练速度、模型精度
• 使用方便：训练工具、测试工具、推理API、多IO后端支持

生成模型+底层视觉+AIGC算法库 MMagic

开源仓地址：https://github.com/open=mmlab/mmagic

模型部署工具箱MMDeploy

开源仓地址：https://github.com/open-mmlab/mmdeploy