开源算法体系OpenMMLab

一、OpenMMLab概述

图片这些都是深度学习框架。这篇文章主要介绍OpenMMLab框架。

OpenMMLab诞生于2018年，是一个由中国开发者主导，有国际影响力的计算机视觉开源算法体系。并在2022年视觉人工智能大会上OpenMMLab2.0发布。

每一种计算机视觉任务都对应OpenMMLab在github上的一个开源算法库。

OpenMMLab涵盖了图像分类、目标检测、 目标分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模型轻量化、自监督学习、少样本学习、光流估计、预训练、多模态、AIGC、模型终端推理部署等各种计算机视觉任务。

二、OpenMMLab中常用的算法库

1，MMDetection目标检测

 MMDetection可以解决目标检测，实例分割，全景分割和目标追踪任务。

github链接：https://github.com/open-mmlab/mmdetection

2，MMYOLO目标检测算法库

github链接：https://github.com/open-mmlab/mmyolo​​​​​​

3，MMOCR文字检测识别算法库

github链接：https://github.com/open-mmlab/mmocr 

4， 3D目标检测算法库 MMDetection3D

多用于自动驾驶领域。github链接：https://github.com/open-mmlab/mmdetection3d

​

 5，旋转目标检测算法库 MMRotate

 github链接：https://github.com/open-mmlab/mmrotate

6，图像分割算法库 MMSegmentation

github链接：https://github.com/open-mmlab/mmsegmentation

7， 图像分类+预训练+多模态算法库 MMPretrain

​

github链接：https://github.com/open-mmlab/mmpretrain 

用MMPretrain可以实现图像分类，图像描述，视觉问答，视觉定位和检索

​

 8，姿态估计算法库 MMPose

​

 github链接：https://github.com/open-mmlab/mmpose

9，三维人体姿态估计算法库 MMHuman3D

github链接：https://github.com/open-mmlab/mmhuman3d

10，视频动作识别算法库 MMAction2

github链接：https://github.com/open-mmlab/mmsegmentation

11，生成模型+底层视觉+AIGC算法库 MMagic

github链接：https://github.com/open-mmlab/mmagic ​​​​​​

三、模型终端部署

由于这些算法需要实时响应，所以需要直接在各种硬件上。

 硬件指PC、浏览器、手机APP、微信小程序、服务器、嵌入式开发板无人车、无人机、Jetson Orin Nano、树派、机械臂、物联网设备

模型部署面对的挑战：在本地终端推理，硬件和芯片非常多样，算力也很薄弱。

12，模型部署工具箱MMDeploy

github链接：https://github.com/open-mmlab/mmdeploy