【OpenMMLab AI训练营第二期】Class1: OpenMMLab概述

又是子豪兄来做讲解，记得本科时候做树莓派相关的内容的时候就看到了子豪兄的很多分享，后来在接触CV的过程中也看了不少子豪兄分享的干货。再次膜拜一下大佬。

此前也算接触过MM相关的库，但是这次整体的介绍还是给了很多启发，以下就按照自己的理解来写一些感悟吧。
如果在记录的过程中有错误的地方，也请大家指出。欢迎讨论！

OpenMMLab是什么

OpenMMLab其实并不是一个框架，因为本质上还是基于PyTorch来实现底层的算法。MM最方便的是社区中的小伙伴们已经在相同的配置环境下完成了主流模型的复现，并在相同的基准上进行比较，给出了相对公平的对比环境。相信不少人在复现论文的过程中都会碰到各种各样的麻烦，代码不开源导致同一个算法有多种复现代码，也不知道哪一个版本是最接近作者的实验。即使是开源的代码，可能论文和代码也不是一一匹配，甚至不同的论文看似用的是同一个metric，但在代码中的计算是不同的。这些种种问题都导致在跑实验的时候很闹心。
但是MMLab这一个算法体系能够非常好的解决这一个问题。以我使用过的MMDet为例，首先是直接提供了大多数常见的单阶段、两阶段算法，经典和前沿的都有。此外还有提供各个组件，backbone、neck、loss等等。出了目标检测，实例分割、对比学习、知识蒸馏等算法也是支持的。

OpenMMLab各个算法库

MMDetection这是最常用的库，也是最基础任务。其中可能是因为YOLO一枝独秀的原因，所以单独对其开设了MMYOLO库。Yolo确实是非常方便的算法，特别是对算力较差的设备特别友好，用s甚至n的权重模型就能进行训练推理。虽然还没有用过MMYOLO，但是Yolov5的官方仓库给了我非常好的体验感，相信MMYOLO也是如此。
MMOCR的适用范围也非常广泛，其实我一直觉得OCR是落地非常成熟的产业，应该是值得更多研究的，特别是对于泛化能力、部署能力的优化。毕竟识别文字是日常生活中非常大的需求，早期的OCR就已经运用在扫描文件的识别了（小时候还用过汉王OCR来做错题，虽然识别率不高）。不知道MMOCR是否有对于手写字体的识别，这应该是比较难突破的点吧（？）。但是文本检测、文本识别、关键信息提取等功能也是能够实际运用的。设想一下，比如能够对图像、视频的关键文字内容进行打码或者识别，比如对五花八门的验证码进行识别等等。
MMDetection3D是我没怎么接触过的问题，但是确实很酷。在自动驾驶、新能源逐渐成为潮流的时代，使用3D点云来进行目标检测是解决这些问题的要点。是不是还有个SLAM的技术哈哈哈哈，以前觉得这一块也非常酷。
MMRotate是对旋转目标的检测，以前在做本科毕设的时候就有看一些针对狭长目标的方法，也了解过一部分旋转目标检测的内容。才发现，yangxue大佬也一直在MM的社群中，向他学习。虽然后来没有接触旋转目标检测了，但希望以后也有机会使用MMRotate吧。
MMPose和MMHuman3D我个人觉得是异曲同工的，前者是姿态估计的库，通过关键点检测等方法来对人体骨架进行识别，后者应该是在这个基础上用3d模型来包裹人体，可以应用在AR、VR环节过程中。还有个MMAction2的库是一个视频理解工具箱，能够进行动作识别、时序动作检测等动作识别等工作。
MMDeploy也是一个我非常感兴趣的库。因为之前在做本科毕设的时候需要软硬件结合，当时是简单的使用GitHub大佬wangxinyu的tensorrtx库来实现了yolov5s的推理加速，然后部署在win平台上，虽然没有深耕，但是被压缩到极致的推理速度震惊到了。当时就觉得部署对于未来物联网、工业AI应该是有举足轻重的作用。虽然后面也没深究了(doge)。
后面还有MMSegment、MMPretrain、MMagic等算法库也非常有意思，希望有机会能够学习尝试。

想法

我对很多算法库都极感兴趣。、以前尝试在iOS平台上使用了homecourt这款软件，它就是使用了姿态识别、动作检测、目标检测、目标跟踪等等底层任务进行结合，应该还用到了推理加速等部署模型方面的算法。如果通过这次训练营能够学习到这些基础任务库的使用，或许能够利用好这几个库的互通性，尝试去复刻一个这样的程序，那一定是泰裤辣！
感觉读研这几年没有规划，浪费了好多时间，放养是这样的…哈哈哈，主要还是自我驱动力不够，希望能够通过这次训练营，不再摆烂吧。