学习笔记1---OpenMMLab算法介绍
OpenMMLab总体框架包括部署框架MMDeploy、算法框架(如目标检测、语义分割等)、视觉基础框架(如神经网络算子)和训练框架(基于pytorch)。
github链接:
open-mmlab
一、算法框架
1、目标检测算法库MMDetection
该算法库包括一些经典的算法如Faster R-CNN和一些前沿的算法如yolo系列,该算法库支持目标检测、实例分割和全景分割。
2、文字检测识别算法库 MMOCR
该算法库主要包括文本检测、文本识别和关键信息提取,其中关键信息提取指的只提取我们所关注的信息,如提取一张发票中的价格信息。
3、3D目标检测算法库 MMDetection3D
该算法库支持点云 3D 检测、单目 3D 检测、多模态 3D 检测和点云 3D 语义分割等,其包括40+种算法、7个数据集和130+个预训练模型,主要应用场景有自动驾驶。
4、 旋转目标检测算法库 MMRotate
该算法主要用于在检测目标时,可绘制一些可旋转的目标检测框,比如正在行驶的船只的检测。
5、图像分割算法库 MMSegmentation
该算法库用于进行语义分割和实例分割,如医学图像分割和卫星遥感图像分割,其包括600+个预训练模型和40+个算法。
6、图像分类+预训练+多模态算法库 MMPretrain
该算法库的功能包括图像分类、图像描述、视觉问答、视觉定位和检索,可以在检测图片的同时对图像进行描述。
7、 姿态估计算法库 MMPose和三维人体姿态估计算法库 MMHuman3D
维度:2D/3D。
格式:图像/视频。
应用场景:行为分析、医学穴位赋值定位、体育竞赛。