OpenMMLab基于pytorch搭建
算法框架包括:分类、检测、分割、3D检测、OCR、人体关键点检测、光流估计、目标跟踪、小样本学习
部署框架 MMDeploy :ONNX TorchScript C++ python java
可以把之前训练得到的模型部署在各种硬件厂商支持的中间格式
用tesorRT可以部署在英伟达的开发板上,ONNX RUNTIME可以放在本地PC或者树莓派上,OPenVINO可以部署在intel的神经网络计算棒、服务器上
算法框架-MMDetection
支持目标检测 实例分割 全景分割(实例分割基础上加入背景,对无人驾驶很重要)
算法框架-MMDetection3D
通过点云数据或者纯视觉数据画出3D的框,通过激光雷达的点云数据可以知道其它车的3D位置
算法框架-MMSegmentation
无人驾驶汽车遥感 医疗影像分析
算法框架-MMPose & MMHuman3D
对人体进行分析,有2维关键点检测还有3维的立体重建,检测人做引体向上等
算法框架-MMTracking
追踪视频中的某一个小物体(单目标追踪),运动目标追踪、无人机跟拍、轨迹绘制
算法框架--MMAction2
行为识别、时序动作检测、时空动作检测
算法框架--MMEditing
图像修复 超分辨率 抠图(虚拟背景) 图像生成
算法框架--MMRazor
剪枝、蒸馏、量化、神经架构搜索
MMSelfSup自监督 MMFewshot小样本学习
分类
检测 通用目标检测 特定物体目标检测
语义分割 对每一个像素点进行分类,不管有几个物体不管物体是否有重叠
实例分割 在语义分割的基础上把同一类别的不同物体区分出来
关键点检测 输出若干个关键点的坐标 手部,脸部,人体骨骼关键点检测
利用图像分类预测模型的骨干网络接一个检测头、分割头、关键点预测头,就可完成后续任务
a2gRpTAn450HC1B8UE6sZSy73PxVbd9q
应用案例:
图像:
无人驾驶中车道线检测,视觉的辅助驾驶,结合摄像头本身的特征,还要进行各种传感器的融合,激光雷达、毫米波雷达、红外传感器,目前车上标配的传感器
图像生成、风格迁移
卫星地图转换成百度的语义分割图,对遥感的卫星图片进行语义分割
元宇宙,数字人和虚拟主播需要依赖人脸关键点检测
视频理解与自动剪辑
AI把视频中的高能片段抠出
文字描述生成图片
利用计算机视觉解决3D重建任务