OpenMMLab简介

已于 2023-06-01 13:53:06 修改
阅读量1k 收藏 4
点赞数 1
文章标签： 深度学习 人工智能
于 2023-06-01 13:43:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38655947/article/details/130985876
版权

Github链接https://github.com/open-mmlab官网链接https://openmmlab.com

目录

目标检测算法库MMDetection

目标检测算法库MMYOLO

 文字检测识别算法库MMOCR

3D目标检测算法库MMDetection3D

旋转目标检测算法库MMRotate

图像分割算法库MMSegmentation

图像分类+预训练+多模态算法库MMPretrain

姿态估计算法库MMPose

三维人体姿态估计算法库MMHuman3D

视频动作识别算法库MMAction

目标追踪MMTracking

生成模型+底层视觉+AIGC算法库MMagic

模型部署工具箱MMDeploy

趣味应用游乐场Playground

算法库详解

目标检测算法库MMDetection

MMDetectionhttp://github.com/open-mmlab/mmdetection

MMDetection 支持了各种不同的检测任务，包括目标检测，实例分割，全景分割，以及半监督目标检测。可以按照自己需求做自己的数据集并使用现有的框架快速训练、推理。

 算法框架

Object DetectionInstance SegmentationPanoptic SegmentationOther

模块组件

BackbonesNecksLossCommon

目标检测算法库MMYOLO

MMYOLO 中目前实现了目标检测和旋转框目标检测算法，但是相比 MMDeteciton 版本有显著训练加速，训练速度相比原先版本提升 2.6 倍。

MMYOLOhttps://github.com/open-mmlab/mmyolo

 文字检测识别算法库MMOCR

MMOCRhttps://github.com/open-mmlab/mmocr

专注于文本检测，文本识别以及相应的下游任务，如关键信息提取。 它是 OpenMMLab 项目的一部分。兼容中文，英文和数字。

 3D目标检测算法库MMDetection3D

MMDection3Dhttps://github.com/open-mmlab/mmdetection3d

面向 3D 检测的平台

 旋转目标检测算法库MMRotate

适合目标检测的框有方向的任务
GitHub - open-mmlab/mmrotate: OpenMMLab Rotated Object Detection Toolbox and BenchmarkOpenMMLab Rotated Object Detection Toolbox and Benchmark - GitHub - open-mmlab/mmrotate: OpenMMLab Rotated Object Detection Toolbox and Benchmarkhttps://github.com/open-mmlab/mmrotate

图像分割算法库MMSegmentation

 语义分割，适合街景，无人驾驶，理疗影像等任务GitHub - open-mmlab/mmsegmentation: OpenMMLab Semantic Segmentation Toolbox and Benchmark.OpenMMLab Semantic Segmentation Toolbox and Benchmark. - GitHub - open-mmlab/mmsegmentation: OpenMMLab Semantic Segmentation Toolbox and Benchmark.https://github.com/open-mmlab/mmsegmentation

 图像分类+预训练+多模态算法库MMPretrain

GitHub - open-mmlab/mmpretrain: OpenMMLab Pre-training Toolbox and BenchmarkOpenMMLab Pre-training Toolbox and Benchmark. Contribute to open-mmlab/mmpretrain development by creating an account on GitHub.https://github.com/open-mmlab/mmpretrain

  • 图像分类：输入图像，AI给出类别的概率，概率最高的就是最后的类型
  • 图像描述（Image Caption）：输入图片，AI使用文字描述图片
  • 视觉问答（Visual Question Answering）：输入图片，问AI一个问题，AI根据图片给出答案
  • 视觉定位（Visual Grounding）：输入图片，给出提示提，AI根据提示词换出框
  • 检索（图搜图，图搜文，文搜图）

 姿态估计算法库MMPose

GitHub - open-mmlab/mmpose: OpenMMLab Pose Estimation Toolbox and Benchmark.OpenMMLab Pose Estimation Toolbox and Benchmark. Contribute to open-mmlab/mmpose development by creating an account on GitHub.https://github.com/open-mmlab/mmpose

 除了人体关键提检测也可以做自己标注数据的关键点检测

 三维人体姿态估计算法库MMHuman3D

GitHub - open-mmlab/mmhuman3d: OpenMMLab 3D Human Parametric Model Toolbox and BenchmarkOpenMMLab 3D Human Parametric Model Toolbox and Benchmark - GitHub - open-mmlab/mmhuman3d: OpenMMLab 3D Human Parametric Model Toolbox and Benchmarkhttps://github.com/open-mmlab/mmhuman3d

 视频动作识别算法库MMAction2

动作识别，时序动作检测，时空动作检测以及基于人体姿态的动作识别

GitHub - open-mmlab/mmaction2: OpenMMLab's Next Generation Video Understanding Toolbox and BenchmarkOpenMMLab's Next Generation Video Understanding Toolbox and Benchmark - GitHub - open-mmlab/mmaction2: OpenMMLab's Next Generation Video Understanding Toolbox and Benchmarkhttps://github.com/open-mmlab/mmaction2

无法通过单帧画面，需要结合上下文判断

目标追踪MMTracking

 支持视频目标检测，多目标跟踪，单目标跟踪和视频实例分割等多种任务和算法。

GitHub - open-mmlab/mmtracking: OpenMMLab Video Perception Toolbox. It supports Video Object Detection (VID), Multiple Object Tracking (MOT), Single Object Tracking (SOT), Video Instance Segmentation (VIS) with a unified framework.OpenMMLab Video Perception Toolbox. It supports Video Object Detection (VID), Multiple Object Tracking (MOT), Single Object Tracking (SOT), Video Instance Segmentation (VIS) with a unified framework. - GitHub - open-mmlab/mmtracking: OpenMMLab Video Perception Toolbox. It supports Video Object Detection (VID), Multiple Object Tracking (MOT), Single Object Tracking (SOT), Video Instance Segmentation (VIS) with a unified framework.https://github.com/open-mmlab/mmtracking

生成模型+底层视觉+AIGC算法库MMagic

支持了流行的图像修复、图文生成、3D生成、图像修补、抠图、超分辨率和生成等任务的应用。 支持 Stable Diffusion 的微调和ControlNet 动画生成。也支持 GANs 的插值，投影，编辑和其他流行的应用。

  • 文生图，图生图，图像填充（inpainting）
  • 图像去噪，重建，超分辨率，去雾
  • 视频插帧，超分辨率
  • 黑白老照片上色
  • Matting（抠人）

GitHub - open-mmlab/mmagic: OpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic 🪄: Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, image/video restoration/enhancement, etc.OpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic 🪄: Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, image/video restoration/enhancement, etc. - GitHub - open-mmlab/mmagic: OpenMMLab Multimodal Advanced, Generative, and Intelligent Creation Toolbox. Unlock the magic 🪄: Generative-AI (AIGC), easy-to-use APIs, awsome model zoo, diffusion models, image/video restoration/enhancement, etc.https://github.com/open-mmlab/mmagic

模型部署工具箱MMDeploy

为各算法库提供统一的部署体验

open-mmlab/mmdeploy: OpenMMLab Model Deployment Framework (github.com)https://github.com/open-mmlab/mmdeploy

趣味应用游乐场Playground

一个用于收集和展示 OpenMMLab 相关前沿和有趣应用的项目

https://github.com/open-mmlab/playgroundhttps://github.com/open-mmlab/playground

计算机视觉框架OpenMMLab（一）：计算机视觉基础
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-02 5903
前言：本系列主要对OpenMMlab开源框架进行学习，文章分为计算机视觉基础、图像分类、图像检测、图像分割等，适合人工智能领域入门及爱好者学习，可以快速了解OpenMMlab框架，为后续实战学习打下基础。大致可以分为这么几类：图像识别、目标检测、图像分割、图像增强、图像生成、视觉感知、人脸分类识别、姿态估计、立体视觉等。
计算机视觉框架OpenMMLab（三）：图像分类实战
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-04 3976
本篇主要偏向图像分类实战部分，使用MMclassification工具进行代码应用，熟悉其框架应用，为后续处理不同场景下分类问题提供帮助。
OpenMMLab 来啦~
qq_39967751的博客
01-30 5349
OpenMMLab带着一波红包活动入驻CSDN~
openmmlab介绍 一下
luoganttcc的博客
03-27 507
OpenMMLab 是由商汤科技（SenseTime）发起并维护的开源深度学习项目，专注于计算机视觉领域。它提供了一系列模块化、可扩展的工具库，旨在帮助研究者和开发者高效地实现、复现和部署前沿的视觉算法。OpenMMLab 的设计强调‌‌、‌‌和‌‌，覆盖了图像分类、目标检测、图像分割、视频分析等多个方向。
OpenMMLab
weixin_46418900的博客
08-14 167
OpenMMLab是基于Pytorch的计算机视觉开源算法体系，涵盖了图像识别分类，目标检测，图像分割，姿态估计，视频理解，OCR，3D目标检测，3D姿态估计等等视觉任务。生成模型+底层视觉+AIGC算法库 MMagic —AI画画，图像去噪，视频/图片超分辨率，模糊图片细节还原，黑白老照片上色，图像复原填充，线稿生图，商业广告等。图像分类+预训练+多模态算法库MMPretain–图像分类，视觉问答，视觉检索，图像描述。快速部署，本地终端，硬件多样，算力薄弱，数据隐私。目标检测算法库 MMYOLO。
OpenMMlab （1）
qq_52971287的博客
02-02 128
OpenMMlab(task1)笔记
商汤科技 OpenMMLab (智能媒体实验室)
热门推荐
蒲建建
06-10 1万+
从2018年年中开始，香港中文大学多媒体实验室（MMLab）就启动了OpenMMLab（https://github.com/open-mmlab）计划。这项计划的初衷是为计算机视觉的一些重要方向建立统一而开放的代码库，并不断把新的算法沉淀其中。我们相信，这一项工作可以推动可复现算法生态的建立，也是对计算机视觉社区的重要贡献。 主要项目包括： 目标检测-mmdetection，OpenMMLab Detection Toolbox and Benchmark. 图像分割-mmsegmentati.
开源算法体系OpenMMLab
weixin_42311981的博客
06-01 1151
介绍OpenMMLab框架
AI实战营第一期——浦视开源算法体系OpenMMLab简介
m0_62777538的博客
06-01 570
OpenMMLab诞生于2018年，是由中国开发者主导，具有国际影响力的人工智能计算机视觉开源算法体系，在2022年的世界人工智能大会上，OpenMMLab正式发布2.0版本。OpenMMLab已经累计开源了超过30+个算法库，有2400+个预训练模型（开箱即用），涵盖图像识别分类、目标检测、图像分割、姿态估计、视频理解、OCR光符识别、3D目标检测、3D人体姿态估计、模型轻量化、自监督学习、少样本学习、光流估计，预训练+多模态、AIGC……几乎涵盖各类的计算机视觉任务，可以说是一个非常丰富的工具箱。
OpenMMLab语义细分工具箱和基准。-Python开发
05-25
它是OpenMMLab项目的一部分。 master分支与PyTorch 1.3到1.5一起使用。 主要功能统一基准我们为各种语义分割方法提供了一个统一基准工具箱。 模块化设计我们将语义分割框架分解为不同的组件，并且可以轻松地构建...
计算机视觉框架OpenMMLab（二）：图像分类基础
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-03 4719
本次主要复习深度学习图像分类知识，学习图像分类最新的模型，计算机视觉框架OpenMMLab的MMClassification工具基本使用，为后续实战做铺垫。
OpenMMLab介绍
shinsonwu的博客
06-01 207
该项目由多个库构成，包括MMDetection、MMCV、MMSegmentation等，这些库提供了一系列的算法和预训练模型，支持各种计算机视觉任务，例如图像分类、目标检测、图像分割和姿态估计等。它覆盖了图像分类、图像描述、视觉问题回答、视觉定位、检索等，并包含了各种自监督策略、对比学习、掩码学习和前端多模态算法，同时提供了详细的文档。MMOCR是一个文本检测和识别算法库，具有文本检测、字符识别和关键信息提取等功能。MMPose是一个姿态估计算法库，可以检测人脸、身体、手、动物、衣服等的关键点。
OpenMMLab入门
puppystellar的博客
02-01 189
openmmlab介绍
OpenMMLab OpenMMLab mmdeploy v1.1.0模型部署（一）
qq_41627642的博客
06-25 2471
无
OpenMMLab开源首个基于深度学习算法的光流估计工具箱
3D视觉工坊
11-25 1150
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达来源丨OpenMMLab编辑丨极市平台导读MMFlow 中包含了 8 种光流算法，从经典的FlowNet、FlowNet2、PWC-...
【笔记】计算机视觉 ｜ 开源计算机视觉神器OpenMMLab
munan52的博客
06-01 789
OpenMMLab概述
【OpenMMLab】MMagic入门
Winkyyyyyy的博客
10-15 1441
【OpenMMLab】MMagic入门
OpenMMLab Super-Resolution Toolbox
最新发布
03-29
### OpenMMLab 超分辨率工具箱简介 OpenMMLab 是由开放多媒体实验室开发的一系列开源项目集合，涵盖了计算机视觉领域的多个方向。其中，超分辨率工具箱（MMEditing）是一个专注于图像编辑任务的框架，支持多种超分辨率算法实现[^3]。 #### 工具箱的主要功能 MMEditing 提供了丰富的超分辨率模型实现，包括但不限于 ESRGAN、RRDBNet 和 SRCNN 等经典网络结构。这些模型能够显著提升低分辨率图像的质量，适用于医学影像处理、视频增强等多个领域[^4]。 以下是 MME Editing 的一些核心特性： - **模块化设计**：允许用户轻松定制和扩展不同的组件。 - **多任务支持**：除了超分辨率外，还支持修复、去噪等多种图像编辑任务。 - **高性能训练与推理**：通过 PyTorch 实现高效计算，并提供分布式训练选项。 #### 安装指南 为了使用该工具箱，需先安装必要的依赖环境。推荐按照官方文档中的说明操作： ```bash git clone https://github.com/open-mmlab/mmediting.git cd mmediting pip install -r requirements.txt pip install mmcv-full==latest+torch1.8.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.8.0/index.html pip install . ``` 上述命令会克隆仓库并完成基础配置[^5]。 #### 使用方法 运行预定义的超分辨率脚本非常简单。例如，加载已训练好的 ESRGAN 模型并对单张图片执行测试： ```python from mmedit.apis import init_model, restoration_inference import cv2 config_file = 'configs/restorers/esrgan/esrgan_x4c64b23g32_1xb16-400k_div2k.py' checkpoint_file = 'https://download.openmmlab.com/mmediting/restoration/gan/esrgan/esrgan_x4c64b23g32_1xb16-400k_div2k_20220731-f9ebd7df.pth' model = init_model(config_file, checkpoint=checkpoint_file) result = restoration_inference(model, ['test_image.png']) output_img = result[0].cpu().numpy() # 将结果转换为 NumPy 数组 cv2.imwrite('super_resolved_output.png', output_img) ``` 此代码片段展示了如何初始化模型以及对输入图像应用超分辨率技术[^6]。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值