MMlab框架

于 2023-06-01 19:16:47 发布
阅读量257 收藏
点赞数
文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41648031/article/details/130994071
版权

OpenMMLab 框架 介绍（一）

OpenMMLab 概述

OpenMMLab是一个开源软件平台，致力于为各种计算机视觉和多媒体任务提供全面和先进的解决方案。它专注于机器学习领域的研究和开发，特别是在目标检测、图像分割、姿态估计、视频理解和生成模型等领域。

1. 架构

2. 30+研究方向

3. 300+算法

2,400+ 预训练模型

OpenMMLab 各种框架

  1. MMPretrain(MMclassification+MMSelfup)
    目前自己使用过有关mmclassification的模块，使用过resnet系列，ViT, Swin 模型用于多分类。
  2. MMDetection
  • Mask-Rcnn
  • PointRend
  • Mask-Scoring-RCNN
  1. MMSegmentation
  2. MMYOLO
  • YOLOV5
  • YOLOV6
  • YOLOV7
  • YOLOV8
  1. MMRazor
  • 目前正在学习有关知识蒸馏方面的算法及相应的模型框架
  1. MMPose
    等30多个框架
qq_41648031
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
open-mmlab (segmentation) 开源框架
Eric_Evil的博客
08-09 4369
最早一直想把mmdetection吃掉，但是一只拖延没有搞定，趁着最近休息，从mmsegmentation切入，记录一下学习过程。算了，先记录CVPR2021-SETR的code（https://github.com/fudan-zvg/SETR）吧，他这个是基于老版本的mmsegmetation的主要模块开发的，后续官方有少量变化或未用到的再补充。 1 overview 先上代码结构，主要使用时用到mmseg，tools，configs。 注：mmcv是应该装到本地的，是mm系列的基础库。但是我看代
mmlab图像处理第二课- 通用视觉框架OpenMMLab图像分类与基础视觉模型
insid1out的博客
02-03 281
第一个成功实现大规模图像的模型，在 ImageNet 数据集上达到 ~85% 的 top-5 准确率 • 5 个卷积层，3 个全连接层，共有 60M 个可学习参数 • 使用 ReLU 激活函数，大幅提高收敛速度 • 实现并开源了 cuda-convnet ，在 GPU 上训练大规模神经网络在工程上成为可能；网络层数：11、13、16、19 层 • 3×3 卷积配合 1 像素的边界填充，维持空间分辨率 • 每隔几层倍增通道数、减半分辨率，生成 1/2、1/4 尺度的更高抽象层级的特征。
SIGGRAPH Asia 2022 | 港中文MMLab：Marker Correspondence估计框架和应用
Paper weekly
10-07 796
©PaperWeekly 原创 ·作者 |Zhaoyang Huang单位 |香港中文大学MMLab研究方向 |视觉关联性学习基于 Marker 的 AR 是目前的主流 AR 效果之一，但是目前基于特征匹配与平面拟合的方法处理不了 marker 形变的情况，同时对运动模糊、极端相机视角变化、光照变化等现实环境中常见因素不够鲁棒。本文提出一套框架 NeuralMarker：通过训练一个深度神...
OpenMMLAB系列框架解读（基于PyTorch）
Paper weekly
07-20 529
什么是OpenMMLab呢？为了帮助更多的同学在复现上少走弯路，并且实现可以在一个相同的环境下比较不同的settings，香港中文大学-商汤科技联合实验室(MMLab)推出了OpenMMLab计划。是一个用于多个重要研究领域的开源的代码库，力求在代码的质量和整体比别的代码库更具优势，其目标就是做到"Open-Source, Unified, Reproducible"。O...
Open-MMLab介绍
m0_62931218的博客
03-13 506
用tesorRT可以部署在英伟达的开发板上，ONNX RUNTIME可以放在本地PC或者树莓派上，OPenVINO可以部署在intel的神经网络计算棒、服务器上。无人驾驶中车道线检测，视觉的辅助驾驶，结合摄像头本身的特征，还要进行各种传感器的融合，激光雷达、毫米波雷达、红外传感器，目前车上标配的传感器。算法框架包括：分类、检测、分割、3D检测、OCR、人体关键点检测、光流估计、目标跟踪、小样本学习。利用图像分类预测模型的骨干网络接一个检测头、分割头、关键点预测头，就可完成后续任务。
mmlab实战训练教程
最新发布
10-25
mmlab是基于PyTorch的开源深度学习框架，用于图像分类、目标检测、图像分割等计算机视觉任务。本教程将指导读者完成mmlab的实战训练，涵盖模型配置、数据加载、训练和评估等方面。 模型配置 在mmlab中，模型配置是...
通用视觉框架OpenMMlab课程01计算机视觉与OpenMMLab概述
11-27
通用视觉框架OpenMMlab课程01计算机视觉与OpenMMLab概述通用视觉框架OpenMMlab课程01计算机视觉与OpenMMLab概述通用视觉框架OpenMMlab课程01计算机视觉与OpenMMLab概述通用视觉框架OpenMMlab课程01计算机视觉与Open...
交大PPT通用视觉框架OpenMMlab课程02图像分类与MMClassification
11-27
【交大PPT】通用视觉框架OpenMMlab课程02图像分类与MMClassification【交大PPT】通用视觉框架OpenMMlab课程02图像分类与MMClassification【交大PPT】通用视觉框架OpenMMlab课程02图像分类与MMClassification【交大...
OpenMMLab 开源体系揭秘.pdf
02-27
OpenMMLab 是一个开源的计算机视觉算法开放平台，由商汤科技发起，旨在提供高质量的代码框架和完善的科研平台，减少算法复现难度，促进产学研打通。该平台涵盖多个研究热点方向，包括目标检测、语义分割、图像分类、...
通用视觉框架OpenMMLab图像分类与基础视觉模型
02-03
通用视觉框架OpenMMLab图像分类与基础视觉模型 本文讨论了通用视觉框架OpenMMLab图像分类与基础视觉模型，涵盖了图像分类、基础视觉模型、卷积神经网络、Transformer等关键技术。下面将对这些技术进行详细的解释： ...
开源算法体系OpenMMLab
weixin_42311981的博客
06-01 900
介绍OpenMMLab框架
MMLAB库学习
weixin_46779338的博客
02-04 2229
上面展现了模型的结构，主干backbone使用的是ResNet网络，18层，一共4块，输出的是第4个(0,1,2,3)，3对应的是4.style对应的是，我也不太清楚。只知道有pytorch 3*3,和cafe1*1，stride均为2.下面是neck，一般来说，我们对模型进行改进就是对neck进行改进，这里采用的是全局平均池化，后面的是头，由于我们这里是分类故使用全连接做分类。其仅仅写出了一个框架，均为继承关系，因此不会有大片两的代码，共分为4个文件，分别是模型，数据，迭代策略，保存等打印配置。
openmmlab 图像分类代码实战与超算平台
W25679的博客
02-04 534
openmmlab 图像分类代码实战与超算平台 ，第三次课程
可扩展易配置，快来揭秘新一代自监督学习开源框架
qq_39967751的博客
10-19 1041
2022 年 9 月，我们发布了MMSelfSup v1.0.0rc，全面升级了架构设计，适配全新的 OpenMMLab 2.0 体系。我们接下来将从**升级架构设计，算法库新特性**两个方面，对全新升级的 MMSelfSup 1.0 进行介绍。
MMLab
weixin_46587777的博客
05-03 7860
MMLab MMLab的主要研究方向： 机器学习、强化学习、半监督/弱监督/自监督学习等方向的前沿方法和理论 长视频理解、3D视觉、生成模型等的计算机视觉新兴方向 物体检测、动作识别等核心方向的性能突破 深度学习的创新应用探索，以及与医疗、社会科学、艺术创作等领域的交叉创新 深度学习时代，算法与计算、系统框架、以及计算机体系结构的结合创新 ......
【OpenMMLab】框架算法体系
guofei_fly的博客
02-02 327
简单介绍openmmlab框架
计算机视觉框架OpenMMLab（一）：计算机视觉基础
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-02 5643
前言：本系列主要对OpenMMlab开源框架进行学习，文章分为计算机视觉基础、图像分类、图像检测、图像分割等，适合人工智能领域入门及爱好者学习，可以快速了解OpenMMlab框架，为后续实战学习打下基础。大致可以分为这么几类：图像识别、目标检测、图像分割、图像增强、图像生成、视觉感知、人脸分类识别、姿态估计、立体视觉等。
【openmmlab框架学习笔记（一）】
LL_RF的博客
02-02 335
其中目标检测算法，可以实现目标检测，实例分割，全景分割等功能。下图可以更加清晰的了解到什么是分类，检测和分割。以及语义分割和实例分割。在自动驾驶领域中，全景分割时很重要的一个技术手段。MMDetection3D包含了7个数据集，17钟不同的算法，80+个预训练模型，可以训练检测点云、传统图像数据，并将其用三维目标框圈起来。关节检测可以应用于动作预测或者像引体向上、深蹲等计数上。子豪兄还说到了一个守望先锋的插件–微笑开枪，贼有意思。MMTracking。
计算机视觉框架OpenMMLab（七）：语义分割实战
03-29
本文将以语义分割为例，介绍如何使用OpenMMLab框架进行实战操作。 一、准备工作 1.安装OpenMMLab框架 可以按照官网提供的安装方式进行安装，也可以使用pip install mmcv-full安装mmcv-full，然后再使用pip install openmmlab安装OpenMMLab。 2.下载数据集 本文使用的是PASCAL VOC2012数据集，可以在官网上下载。 3.配置环境变量 为了方便使用，可以将数据集路径添加到环境变量中，使用时直接调用。 二、数据预处理 1.将数据集转换为COCO格式 由于OpenMMLab使用的是COCO格式的数据集，因此需要将PASCAL VOC格式的数据集转换为COCO格式。可以使用官方提供的脚本进行转换。 python tools/datasets/voc_convert.py --voc-dir /path/to/voc --json-dir /path/to/save/json 其中，--voc-dir表示PASCAL VOC格式的数据集路径，--json-dir表示将要保存COCO格式的数据集路径。 2.数据增强 使用数据增强可以使模型更具有泛化能力，常用的增强方法包括随机旋转、随机裁剪、随机翻转等。可以使用OpenMMLab提供的数据增强模块进行处理。 from mmcv import Config from mmcv.runner import obj_from_dict cfg = Config.fromfile('configs/deeplabv3_r50-d8_512x512_40k_voc12aug.py') train_pipeline = obj_from_dict(cfg.data.train.pipeline) 其中，train_pipeline为数据增强的流程，可以根据需要进行修改。 三、模型训练 使用OpenMMLab提供的训练脚本进行训练。 python tools/train.py ${CONFIG_FILE} 其中，${CONFIG_FILE}为配置文件路径，可以在configs文件夹中选择合适的配置文件进行训练。 四、模型测试 使用OpenMMLab提供的测试脚本进行测试。 python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} [--out ${RESULT_FILE}] [--eval ${EVAL_METRICS}] [--show] 其中，${CONFIG_FILE}为配置文件路径，${CHECKPOINT_FILE}为训练好的模型文件路径，${RESULT_FILE}为结果保存路径，${EVAL_METRICS}为评价指标，--show表示显示结果。 五、模型部署 使用OpenMMLab提供的导出模型脚本将模型导出为ONNX格式或TorchScript格式，以便在C++或Python中使用。 python tools/export_model.py ${CONFIG_FILE} ${CHECKPOINT_FILE} ${EXPORT_TYPE} [--out ${EXPORT_FILE}] [--input-img ${INPUT_IMG}] [--shape ${INPUT_SHAPE}] 其中，${EXPORT_TYPE}为导出模型格式，可以选择onnx或torchscript，${EXPORT_FILE}为导出模型路径，${INPUT_IMG}为输入图片路径，${INPUT_SHAPE}为输入图片大小。 六、总结 通过以上实战操作，我们可以使用OpenMMLab框架进行语义分割模型的训练、测试和部署。OpenMMLab框架提供了丰富的模型和数据增强模块，使得模型训练更加便捷。同时，OpenMMLab框架也支持模型导出为ONNX或TorchScript格式，方便在C++或Python中使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值