一、OpenMMLab概述
图片这些都是深度学习框架。这篇文章主要介绍OpenMMLab框架。
OpenMMLab诞生于2018年,是一个由中国开发者主导,有国际影响力的计算机视觉开源算法体系。并在2022年视觉人工智能大会上OpenMMLab2.0发布。
每一种计算机视觉任务都对应OpenMMLab在github上的一个开源算法库。
OpenMMLab涵盖了图像分类、目标检测、 目标
分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模型轻量化、自监督学习、少样本学习、光流估计、预训练、多模态、AIGC、模型终端推理部署等各种计算机视觉任务。
二、OpenMMLab中常用的算法库
1,MMDetection目标检测
MMDetection可以解决目标检测,实例分割,全景分割和目标追踪任务。
github链接:https://github.com/open-mmlab/mmdetection
2,MMYOLO目标检测算法库
github链接:https://github.com/open-mmlab/mmyolo
3,MMOCR文字检测识别算法库
github链接:https://github.com/open-mmlab/mmocr
4, 3D目标检测算法库 MMDetection3D
多用于自动驾驶领域。github链接:https://github.com/open-mmlab/mmdetection3d
5,旋转目标检测算法库 MMRotate
github链接:https://github.com/open-mmlab/mmrotate
6,图像分割算法库 MMSegmentation
github链接:https://github.com/open-mmlab/mmsegmentation
7, 图像分类+预训练+多模态算法库 MMPretrain
github链接:https://github.com/open-mmlab/mmpretrain
用MMPretrain可以实现图像分类,图像描述,视觉问答,视觉定位和检索
8,姿态估计算法库 MMPose
github链接:https://github.com/open-mmlab/mmpose
9,三维人体姿态估计算法库 MMHuman3D
github链接:https://github.com/open-mmlab/mmhuman3d
10,视频动作识别算法库 MMAction2
github链接:https://github.com/open-mmlab/mmsegmentation
11,生成模型+底层视觉+AIGC算法库 MMagic
github链接:https://github.com/open-mmlab/mmagic
三、模型终端部署
由于这些算法需要实时响应,所以需要直接在各种硬件上。
硬件指PC、浏览器、手机APP、微信小程序、服务器、嵌入式开发板无人车、无人机、Jetson Orin Nano、树派、机械臂、物联网设备
模型部署面对的挑战:在本地终端推理,硬件和芯片非常多样,算力也很薄弱。
12,模型部署工具箱MMDeploy
github链接:https://github.com/open-mmlab/mmdeploy
————————————————