【openmmlab概述】

最新推荐文章于 2024-11-11 09:32:23 发布

dxzzz333

最新推荐文章于 2024-11-11 09:32:23 发布

阅读量102

点赞数

文章标签：人工智能深度学习

本文链接：https://blog.csdn.net/u013984110/article/details/130997151

版权

AI实战营二期lec1-openmmlab概述

openmmlab是业界最有影响力的算法库之一，提供了大量开箱即用的预训练模型和算法。

MMPretrain 是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络，并支持了不同的预训练策略。MMPretrain 源自著名的开源项目 MMClassification 和 MMSelfSup，并开发了许多令人兴奋的新功能。

支持多种开箱即用的推理任务
- 图像分类（顾名思义）
- 图像描述（Image Caption，给一张图描述一句话）
- 视觉问答（Visual Question Answering，图像相关的问题回答）
- 视觉定位（Visual Grounding，图像中的目标检测？和detection有啥不一样呢，只给一个？）
- 检索（图搜图，图搜文，文搜图，相似度？）
  https://github.com/open-mmlab/mmpretrain

MMSegmentation 是一个基于 PyTorch 的语义分割开源工具箱。MMSegmentation 支持了众多主流的和最新的检测算法，例如 PSPNet，DeepLabV3，PSANet，DeepLabV3+ 等。
语义分割是针对图片中的像素进行聚类。相同类别的部分（像素点）会被打上相同的tag。（看起来是有监督的，聚类任务）
https://github.com/open-mmlab/mmsegmentation

MMDetection 是一个基于 PyTorch 的目标检测开源工具箱。MMDetection 支持了各种不同的检测任务，包括目标检测（图像，看起来是多个目标），实例分割（视频的实时分割？数据量大），全景分割（也是分割任务，但是看起来限制更强，不允许重叠聚类），以及半监督目标检测（弱监督弱标签下的目标检测任务）。
视频中的目标检测。
https://github.com/open-mmlab/mmdetection
参考：
https://zhuanlan.zhihu.com/p/67995445
https://zhuanlan.zhihu.com/p/607453279

MMPose 是一款基于 PyTorch 的姿态分析的开源工具箱。包含了丰富的 2D 多人姿态估计、2D 手部姿态估计、2D 人脸关键点检测、133关键点全身人体姿态估计、动物关键点检测、服饰关键点检测等算法以及相关的组件和模块。
https://github.com/open-mmlab/mmpose

MMagic (Multimodal Advanced, Generative, and Intelligent Creation) 是一个供专业人工智能研究人员和机器学习工程师去处理、编辑和生成图像与视频的开源 AIGC 工具箱。包含很多模型和应用。（生成相关，看起来很多黑魔法）
MMagic 支持各种基础生成模型，包括：