Open-MMLab介绍

OpenMMLab基于pytorch搭建

算法框架包括：分类、检测、分割、3D检测、OCR、人体关键点检测、光流估计、目标跟踪、小样本学习

部署框架 MMDeploy ：ONNX TorchScript C++ python java

可以把之前训练得到的模型部署在各种硬件厂商支持的中间格式

用tesorRT可以部署在英伟达的开发板上，ONNX RUNTIME可以放在本地PC或者树莓派上，OPenVINO可以部署在intel的神经网络计算棒、服务器上

算法框架-MMDetection

支持目标检测 实例分割 全景分割（实例分割基础上加入背景，对无人驾驶很重要）

算法框架-MMDetection3D

通过点云数据或者纯视觉数据画出3D的框，通过激光雷达的点云数据可以知道其它车的3D位置

算法框架-MMSegmentation

无人驾驶汽车遥感 医疗影像分析

算法框架-MMPose & MMHuman3D

对人体进行分析，有2维关键点检测还有3维的立体重建，检测人做引体向上等

算法框架-MMTracking

追踪视频中的某一个小物体（单目标追踪），运动目标追踪、无人机跟拍、轨迹绘制

算法框架--MMAction2

行为识别、时序动作检测、时空动作检测

算法框架--MMEditing

图像修复 超分辨率 抠图（虚拟背景） 图像生成

算法框架--MMRazor

剪枝、蒸馏、量化、神经架构搜索

MMSelfSup自监督 MMFewshot小样本学习

分类

检测 通用目标检测 特定物体目标检测

语义分割 对每一个像素点进行分类，不管有几个物体不管物体是否有重叠

实例分割 在语义分割的基础上把同一类别的不同物体区分出来

关键点检测 输出若干个关键点的坐标 手部，脸部，人体骨骼关键点检测

利用图像分类预测模型的骨干网络接一个检测头、分割头、关键点预测头，就可完成后续任务

a2gRpTAn450HC1B8UE6sZSy73PxVbd9q

应用案例：

图像：

无人驾驶中车道线检测，视觉的辅助驾驶，结合摄像头本身的特征，还要进行各种传感器的融合，激光雷达、毫米波雷达、红外传感器，目前车上标配的传感器

图像生成、风格迁移

卫星地图转换成百度的语义分割图，对遥感的卫星图片进行语义分割

元宇宙，数字人和虚拟主播需要依赖人脸关键点检测

视频理解与自动剪辑

AI把视频中的高能片段抠出

文字描述生成图片

利用计算机视觉解决3D重建任务