OpenMMLab简介

OpenMMLab是一个涵盖多种计算机视觉任务的开源算法体系,包括目标检测、语义分割、图像编辑等。项目基于PyTorch,提供多样化的工具箱,如MMDetection、MMEditing等,支持多种平台并有严格的版本要求。同时,OpenMMLab还维护了一系列数据集供研究使用。此外,还包括模型部署、模型压缩和人体3D参数化等工具。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

      OpenMMLab是一个适用于学术研究和工业应用的开源算法体系,涵盖了计算机视觉的许多研究课题,于2018年10月启动。主要包括2部分:开源项目和开放数据集。以下内容主要摘自于:https://openmmlab.com/

      开源项目:https://github.com/open-mmlab ,包含很多项目,由于每个项目起始开发时间不同,因此各个项目发布版本并不统一,有些项目版本更新较快。而且对于Python、PyTorch、CUDA的版本要求也并不统一,大部分项目需要Python 3.6以上版本,需要PyTorch 1.5以上版本,CUDA可以使用10.2(因为PyTorch各个版本对CUDA 10.2都有支持)。有些项目需CUDA的支持,否则功能会不完善,如MMDetection。支持Windows、Linux和Mac平台。License为Apache-2.0。有些项目之间有依赖关系。从各个项目的名字大体可以看出此项目的主要内容。

      1.MMCV:是一个面向计算机视觉的基础库,它支持很多开源项目,如MMDetection、MMOCR等。最新发布版本为v1.6.1。

      2.MMDetection:是一个基于PyTorch的目标检测开源工具箱。最新发布版本为v2.25.1。

      3.MMDetection3D:是一个基于PyTorch的目标检测开源工具箱,下一代面向3D检测的平台。最新发布版本为v1.0.0rc3。

      4.MMEditing:是一个基于PyTorch的图像&视频编辑开源工具箱,支持超分辨率、修复、抠图、视频插值等。最新发布版本为v0.15.1。

      5.MMAction2:是一个基于PyTorch的视频理解开源工具箱。最新发布版本为v0.24.1。

      6.MMSegmentation:是一个基于PyTorch的语义分割开源工具箱。最新发布版本为v0.27.0。

      7.MMClassification:是一个基于PyTorch的开源图像分类工具箱。最新发布版本为v0.23.2。

      8.MMPose:是一个基于PyTorch的姿态分析的开源工具箱。最新发布版本为v0.28.1。

      9.MMTracking:是一个基于PyTorch的视频目标感知开源工具箱。最新发布版本为v0.13.0。

      10.MMOCR:是一个基于PyTorch和MMDetection的开源工具箱,专注于文本检测,文本识别以及相应的下游任务,如关键信息提取。最新发布版本为v0.6.0。

      11.MMGeneration:是一个基于PyTorch和MMCV的强有力的生成模型工具箱,尤其专注于GAN模型。最新发布版本为v0.7.1。

      12.MMRotate:是一个基于PyTorch的旋转框检测的开源工具箱。最新发布版本为v0.3.2。

      13.MMDeploy:是OpenMMLab模型部署工具箱,为各算法库提供统一的部署体验。最新发布版本为v0.6.0。

      14.MMRazor:是一个可用于模型瘦身和AutoML的模型压缩工具箱。最新发布版本为v0.3.1。

      15.MMHuman3D:是一个基于PyTorch的人体参数化模型的开源工具箱。最新发布版本为v0.9.0。

      16.MMSelfSup:是一个基于PyTorch实现的开源自监督表征学习工具箱。最新发布版本为v0.9.2。

      17.MMFlow:是一个基于PyTorch的光流工具箱。最新发布版本为v0.5.1。

      18.MMFewShot:是一个基于PyTorch的少样本学习代码库。最新发布版本为v0.1.0。

      开放数据集:不支持匿名下载

      1.DeeperForensics-1.0 Dataset:是用于现实世界中人脸伪造检测的新数据集。

      2.FineGym:一个基于体操运动视频建立的新数据集。

      3.MovieNet:是用于全面理解电影的数据集。

      4.MessyTable:包含大量从多个摄像机视图中捕获的混乱的桌子的场景。

      5.Placepedia:包含24万个地点,其中包含来自世界各地的3500万张图片。

      6.TAPOS:是一个基于体育视频构建的,带有子动作人工标注的新数据集。

      7.CULane:是一个大规模的极具挑战性的车道线检测学术数据集。

      8.DeepFashion Dataset:是一个大型服装数据库。

      9.FashionGAN Dataset:是基于DeepFashion数据集的子集上新标注(语言和分段映射)的数据集。

      10.kinetics-skeleton:是一个基于骨骼的人体理解的数据集。

      11.OST dataset:室外场景数据集。

      12.Web Image Dataset for Event Recognition(WIDER):是用于从静态图像识别复杂事件的数据集。

      13.Wider 2019:数据集围绕人脸和身体的精确定位以及身份的精确识别这一问题。

      14.WIDER ATTRIBUTE Dataset:是人类属性识别基准数据集,其图像是从可公开获得的WIDER数据集中选择的。

      15.WIDER FACE Dataset:是一个面部检测基准数据集,其图像是从可公开获得的WIDER数据集中选择的。

      16.WildLife Documentary(WLD) Dataset:包含从YouTube下载的15部纪录片,其时长从9分钟到长达50分钟不等,并且总帧数超过747000。

      17.CUHK Face Sketch FERET Database(CUFSF):用于人脸素描合成和人脸素描识别的研究。

      18.CUHK Image Cropping Dataset:该数据集提出了一种自动图像裁剪的方法。

      19.CUHK-PEDES:一个大型的人形描述数据集,其中包含来自各种来源的人形图像详细信息的语言标注。

      20.Expression in-the-Wild(ExpW) Dataset:包含91793个手动标记了表达式的面部。

      21.General 100 Dataset:包含100个bmp格式的图像(无压缩)。

      22.LPW:收集于三个不同的拥挤场景中。

      23.MIT Trajectory Dataset(Single Camera):用于研究以对象轨迹为特征的单个摄像机视图中的活动分析。

      24.Multi-Task Facial Landmark(MTFL) Dataset:用于训练人脸界标检测的多任务深度模型。

      25.Pedestrian Color Naming Dataset:包含14213 张图像,每张图像均用每个像素的颜色标签进行了手工标记。

      26.Social Relation Dataset:根据凯斯勒(Kiesler)提出的人际关系圈来定义社会关系特征,其中人际关系被分为16个部分。

      27.The Comprehensive Cars(CompCars) dataset:包含来自两种方案的数据,包括来自网络和监控的图像。

      28.Visual Discriminative Question Generation(VDQG) Dataset:包含从Visual Genome收集的11202个模糊图像对。

      29.WWW Crowd Dataset:是具有人群属性标注的最大人群数据集。

      30.OmniSource:是一个以Kinetics-400类名称作为查询的多元化Web数据集。

      31.ForgeryNet Dataset:是一个大型面部伪造数据集,它在四个任务中对图像和视频级数据进行统一的标注。

      另外在知乎https://www.zhihu.com/people/openmmlab 上也有很多技术文章。

      GitHubhttps://github.com/fengbingchun/PyTorch_Test

### OpenMMLab 超分辨率工具箱简介 OpenMMLab 是由开放多媒体实验室开发的一系列开源项目集合,涵盖了计算机视觉领域的多个方向。其中,超分辨率工具箱(MMEditing)是一个专注于图像编辑任务的框架,支持多种超分辨率算法实现[^3]。 #### 工具箱的主要功能 MMEditing 提供了丰富的超分辨率模型实现,包括但不限于 ESRGAN、RRDBNet 和 SRCNN 等经典网络结构。这些模型能够显著提升低分辨率图像的质量,适用于医学影像处理、视频增强等多个领域[^4]。 以下是 MME Editing 的一些核心特性: - **模块化设计**:允许用户轻松定制和扩展不同的组件。 - **多任务支持**:除了超分辨率外,还支持修复、去噪等多种图像编辑任务。 - **高性能训练与推理**:通过 PyTorch 实现高效计算,并提供分布式训练选项。 #### 安装指南 为了使用该工具箱,需先安装必要的依赖环境。推荐按照官方文档中的说明操作: ```bash git clone https://github.com/open-mmlab/mmediting.git cd mmediting pip install -r requirements.txt pip install mmcv-full==latest+torch1.8.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.8.0/index.html pip install . ``` 上述命令会克隆仓库并完成基础配置[^5]。 #### 使用方法 运行预定义的超分辨率脚本非常简单。例如,加载已训练好的 ESRGAN 模型并对单张图片执行测试: ```python from mmedit.apis import init_model, restoration_inference import cv2 config_file = 'configs/restorers/esrgan/esrgan_x4c64b23g32_1xb16-400k_div2k.py' checkpoint_file = 'https://download.openmmlab.com/mmediting/restoration/gan/esrgan/esrgan_x4c64b23g32_1xb16-400k_div2k_20220731-f9ebd7df.pth' model = init_model(config_file, checkpoint=checkpoint_file) result = restoration_inference(model, ['test_image.png']) output_img = result[0].cpu().numpy() # 将结果转换为 NumPy 数组 cv2.imwrite('super_resolved_output.png', output_img) ``` 此代码片段展示了如何初始化模型以及对输入图像应用超分辨率技术[^6]。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值