什么是Openmmlab
openmmlab提供了一系列的开源算法库,基本涵盖了计算机视觉领域内的所有任务:
每一个开源库都提供了开源的算法实现,拿mmdetection来说,里面开源了经典的目标检测算法(比如Faster R-CNN、RPN等),也开源了最新的、SOTA级别的算法(比如YOLOX、DiffusionDet等);
YOLO是目标检测算法中运行速度较快的一个算法,mmlab中已经实现了yolo算法,我们可以直接调用mmlab中现成的代码,在自己的数据集上实现目标检测以及实例分割等任务;
CV中还有一个经典任务叫做OCR,主要是对文本数据进行检测和提取,如票据信息提取、车牌识别等。MMOCR库对OCR中的经典算法都进行了复现,可以利用MMOCR库实现这些经典的算法,甚至再延伸下去,我们可以利用ocr算法实现对文本数据进行马赛克处理:
openmmlab还实现了mmdetection3d算法库,这一开源算法库在很多自动驾驶初创公司、三维视觉相关论文的实验中有着非常广泛的应用,他们会在mmdetection3d库的基础上,实现自己设计的算法;
mmaction2是专门用于视频动作识别的算法库,主要支持视频中的行为识别、时序动作检测和时空动作检测等;
mmlab支持部署到很多对实时性要求高、算力较弱的硬件设备上;
具体来说,实现对应算法后,通过mmdeploy将格式转换成onnx等格式,然后通过各大厂商的推理框架和推理后端进行部署,比如说onnx runtime, qualcomm等;