1. OpenMMLab是什么?
OpenMMlab诞生于2018年,是一个由中国开发者主导 有国际影响力的人工智能计算机视觉开源算法体系 。
Github:https://github.com/open-mmlab
2. OpenMMLab总体框架
2.1 OpenMMLab框架图
2.2 训练框架
PyTorch
2.3 算法框架
MMPreTrain:预训练+多模态,可以用于图像分类,图像描述。视觉问答,视觉定位,检索
MMDetection:目标检测,无人机自动跟随
MM3DDetecion:3D目标检测可用于无人驾驶
MMRotate:旋转目标检测,区别于传统的目标检测检测框是垂直的,MMRotate的旋转目标检测检测框有方向
MMSegmention:语义分割,应用于无人驾驶(马路牙子,交通标志,车道线),遥感图像(河流,山地),医疗领域(肿瘤),对每一个像素进行分类
MMPose:姿态估计,关键点检测,用于衡量某个人的动作,高精度多人人体姿态估计,中医穴位辅助定位
MMAction2:视频动作分析,可以用于结合视频前后帧时间序列进行视频动作识别,手语识别
MMOCR:光符识别
MMagic:底层视觉+AIGC,文字生成图片,图像去噪、超分辨率
MMYOLO:目标检测
MMFlow:光流估计
MMTracking:目标跟踪
MMhuman3D:人体参数化模型,动作捕捉,虚拟现实
MMFewshot:小样本学习
2.3 部署框架
MMDeploy
2.4 OpenMMLab现状
3.OpenMMLab代表算法
3.1 MMDetection
MMDetection是一个目标检测算法库,他可以解决目标检测,实例分割,全景分割和目标追踪任务,这是OpenMMlab在业界最有影响力的算法库。
3.2 MMYOLO
MMYOLO复现了各种YOLO算法,收录了各种YOLO论文,你可以轻松获得不同YOLO算法在同一个数据集上的跑分
3.3 MMOCR
MMOCR可以用于文本检测、文本识别、关键信息提取