【OpenMMLab】底层视觉与MMEditing

最新推荐文章于 2023-06-16 13:56:53 发布
最新推荐文章于 2023-06-16 13:56:53 发布
阅读量176 收藏
点赞数
分类专栏： OpenMMLab 文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DplusC/article/details/131236273
版权
该系列文章介绍了OpenMMLab框架下的多个模块，包括人体姿态估计、关键点检测、深度学习预训练、目标检测和语义分割。重点讨论了图像超分辨率的概念，解释了为何及如何通过深度学习算法如SRCNN和FSRCNN提升图像分辨率，以及在处理中使用的损失函数类型。
摘要由CSDN通过智能技术生成

系列文章目录

第一课：【OpenMMLab】OpenMMLab概述
第二课：【OpenMMLab】人体姿态估计、关键点检测与MMPose
第三课：【openMMLab】MMPose 代码教程
第四课：【OpenMMLab】深度学习预训练与 MMPreTrain
第五课: 【OpenMMLab】MMPretrain 代码教程
第六课：【OpenMMLab】目标检测与MMDetection
第七课：【OpenMMLab】MMDetection 代码
第八课：【OpenMMLab】语义分割与MMSegmentation
第九课：【OpenMMLab】MMSegmentation 代码

视频教程：
https://www.bilibili.com/video/BV1hu4y1o7jU

什么是图像超分辨率

图像超分辨率:根据从低分辨率图像重构高分辨率图像

在低像素的图像中，信息是非常少的，补足其中缺失的高频信息是非常困难的

图像超分辨率的目标：

  • 提高图像的分辨率
  • 高分图像符合低分图像的内容
  • 恢复图像的细节、产生真实的内容；双线性或双立方插值不能恢复图像的高频细节

图像超分辨率的应用：经典游戏高清重制、动画高清重置、照片修复、节约传输高清图像的带宽、民生领域

在这里插入图片描述

超分辨率的类型

在这里插入图片描述

单图超分的解决思路

  1. 基于已知数据学习高低分辨率图像之间的关系:先验知识
  2. 在符合先验知识的条件下恢复高清图像

在这里插入图片描述

稀疏编码 Sparse Coding

通过无监督学习方法，构建一组“基图像块”，使得图像中的任意一块区域可以由少数基图像块线性组合而成
缺点：即便学到了字典，对低分辨率图像块进行系数分解、得到系数仍然是一个相对复杂的优化问题。

训练和推理都很耗时
在推理阶段，基于字典求解系数涉及复杂的计算

在这里插入图片描述
在这里插入图片描述

深度学习时代的超分辨率算法

  • 基于卷积网络和普通损失函数
    使用卷积神经网络，端到端从低分辨率图像恢复高分辨率图像代表算法:SRCNN 与FSRCNN
  • 使用生成对抗网络
    采用生成对抗网络的策略，鼓励产生细节更为真实的高分辨率图像代表算法:SRGAN 与 ESRGAN

SRCNN 2014

首个基于深度学习的超分辨率算法，证明了深度学习在底层视觉中是可行的
模型仅由三层卷积层组成，可以端到端学习，无需额外的前后处理

SRCNN的单个卷积层有明确的物理意义
第一层:提取图像块的低层次局部特征
第二层:对低层次局部特征进行非线性变换，得到高层次特征
第三层:组合邻域内的高层次特征，恢复高清图像

在这里插入图片描述

Fast SRCNN 2016

FSRCNN在SRCNN的基础上针对速度进行了改进

  1. 不使用插值，直接在低分辨率图像上完成卷积运算，降低运算量
  2. 使用1x1的卷积层对特征图通道进行压缩，进一步降低卷积的运算量
  3. 若干卷积层后再通过转置卷积层提高图像分辨率
    在这里插入图片描述

次像素卷积

用于缓解转置卷积的棋盘效应
在这里插入图片描述

损失函数

均方误差 MSE

在这里插入图片描述

感知损失函数

比较恢复图像与原始高分图像的语义特征，并计算损失
语义特征的计算由预先训练的神经网络模型给出。
例如:使用在ImageNet数据集上预训练好的神经网络计算语义特征

在这里插入图片描述

Donny0v0
关注
专栏目录
计算机视觉系列 -OpenMMLab 2.0系列直播 学习笔记
段智华的博客
09-25 501
计算机视觉系列 -OpenMMLab 2.0系列直播 学习笔记以上部分学习笔记素材来源自 openmmlab，部分图文来源网络。
计算机视觉框架OpenMMLab（一）：计算机视觉基础
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-02 5744
前言：本系列主要对OpenMMlab开源框架进行学习，文章分为计算机视觉基础、图像分类、图像检测、图像分割等，适合人工智能领域入门及爱好者学习，可以快速了解OpenMMlab框架，为后续实战学习打下基础。大致可以分为这么几类：图像识别、目标检测、图像分割、图像增强、图像生成、视觉感知、人脸分类识别、姿态估计、立体视觉等。
图像&视频编辑工具箱MMEditing安装及使用示例(Inpainting)
网络资源是无限的
08-14 2694
图像&视频编辑工具箱MMEditing安装及使用示例(Inpainting)
【Mmediting的使用踩坑记录】
东荷新绿的博客
05-01 297
足下潇洒美少年，举觞白眼望青天，皎如玉树临风前。Mmediting是一个由开发者大力维护的开源深度学习库，它致力于提供高效和先进的图像和视频编辑工具。基于PyTorch实现，Mmediting依赖于许多常见的深度学习库，例如CUDA和CUDNN，以实现高性能的图像和视频处理。它提供了强大的超分辨率、去噪、修复、颜色转换、图像合成、视觉效果等功能，可以帮助用户在不同的应用场景下完成各种图像和视频处理任务。
MMediting1.X进行视频超分训练和测试（BasicVsr++）
daweq的博客
05-04 1439
这里值得说的是REDS数据集，在mmediting里面它将原数据的训练和验证两个部分的数据进行了拼贴，然后通过一个参数文件（这些按照官方文件给的参数文件生成代码进行生成就好了）控制那一段数据是训练，哪一段是验证数据，这样可以便于后面的测试。在保存的测试结果里面，我们可以看到日志，参数配置，和图片最后超分的结果，这里给出同一帧位置图像处理前后图片的分辨率，可以看到第一张图为原图片，第二张图为超分之后的结果，可以看出来明显第二张细节更清晰了。按照官方给出的标准测试指令进行测试，下图就是测试的结果了。
通用视觉框架OpenMMLab图像分类与基础视觉模型
02-03
通用视觉框架OpenMMLab图像分类与基础视觉模型 本文讨论了通用视觉框架OpenMMLab图像分类与基础视觉模型，涵盖了图像分类、基础视觉模型、卷积神经网络、Transformer等关键技术。下面将对这些技术进行详细的解释： ...
OpenMMLAB实战系列视频教程
09-13
OpenMMLAB实战系列视频教程是一套专注于深度学习与计算机视觉技术的教程资源，由MMLAB（多媒体计算与学习实验室）提供。这套教程旨在帮助学习者深入理解并掌握OpenMMLAB这一最大最全的开源视觉代码库，涵盖了深度...
计算机视觉框架OpenMMLab（二）：图像分类基础
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-03 4589
本次主要复习深度学习图像分类知识，学习图像分类最新的模型，计算机视觉框架OpenMMLab的MMClassification工具基本使用，为后续实战做铺垫。
mmediting：OpenMMLab图像和视频编辑工具箱
02-18
介绍 MMEditing是基于PyTorch的开源图像和视频编辑工具箱。 它是项目的一部分。 master分支与PyTorch 1.3到1.6一起使用。 文档： : 。 主要特点 模块化设计 我们将编辑框架分解为不同的组件，并且可以通过组合不同的模块轻松构建自定义的编辑器框架。 在编辑中支持多个任务 该工具箱直接支持流行和当代的绘画，抠图，超分辨率和生成任务。 最先进的 该工具箱提供了修复/抠图/超分辨率/生成方面的最新方法。 执照 该项目是根据。 变更日志 v0.5已于2020年9月7日发布。 请注意，作为MMEditing的一部分， MMSR已合并到此存储库中。 通过新框架的精心设计和精心的实现，希望MMEditing可以提供更好的体验。 基准和模型动物园 有关更多详细信息，请参考 。 安装 请参考进行安装。 开始使用 请参阅为MMEditing的基本用法。 贡献 感谢
MMEditing源码，用于构建深度学习、计算机视觉、图像处理框架
08-12
MMEditing源码面向图像编辑的工具包，支持图像修复、图像转译、图像修补、图像超分任务，用来进行源码安装，用于构建深度学习、计算机视觉、图像处理框架
AI实战训练营（Class 11）MMEditing 安装与使用
最新发布
qq_42866033的博客
06-16 870
提示：以上代码运行时，若长时间运行卡着不动，可重启 kernel 后重新运行一遍。国内直接只用 pip 官方源速度比较慢，推荐使用清华源或者其他国内源。可以看到黑白图片已经被上色，而且效果很不错。进入 Python 环境。
MMEditing代码阅读笔记一：main()函数中的build_model()
MZYYZT的博客
03-29 442
MMEditing代码阅读笔记一：main()函数中的build_model()
MMEditing 介绍——注册器
qq_38832757的博客
02-18 1060
目录注册器什么是注册器注册器工作原理为什么要用注册器MMEditing 中的注册器 注册器 什么是注册器 python 的 register 可以理解为一个字典，字典中存储了 class/function 的名称和内容。 注册器具有 “set item” 和 “get item” 功能，从而实现对应功能的实现和调用。 注册器工作原理 首先实现一个简单的注册器，使用 register 方法实现 “set item”，使用 get 方法实现 “get item” class MyRegister(object)
MMEditing如何添加自己的新模型
weixin_42130300的博客
11-14 2357
如何使用商汤的框架MMEditing添加一个自己的新模型嘞？因为自己平时做超分辨率，所以这里用BasicVSR的改动作为例子，一般需要在MMEditing中添加三个文件：配置，backbones以及restores。 首先添加配置文件： 这里是以IconVSR为例添加的，如果是做MMEditing框架下的其他领域问题，只要在对应的目录下添加配置文件就行，中途修改了loss，loss的添加方式在我的另一篇博客里有讲：BasicVSR(CVPR2021)复现过程_ACALJJ32的博客-CSDN博客_.
【MMagic】底层视觉与MMEditing Plus版；小窥AIGC，生成模型涌现智慧，研究创造性的方向
白水空空
06-15 906
经过 OpenMMLab 2.0 的迭代更新以及与 MMGeneration 的代码合并，MMEditing 已经成为了一个支持基于 GAN 和传统 CNN 的底层视觉算法的强大工具。对完整的配置和修复系统中的模块有一个基本的了解，对 Global&Local 的配置作如下简要说明。对完整的配置和生成系统中的模块有一个基本的了解，对 pix2pix 的配置做如下简要说明。使用以下命令，输入一张测试图像以及缺损部位的遮罩图像，实现对测试图像的补全。原始 DIM 模型的配置做一个简短的评论，如下所示。
【超分辨率实验】使用MMEditing进行图像超分辨率
qq_41807261的博客
05-30 4859
使用MMEditing进行图像超分辨率使用MMEditing进行图像超分辨率安装MMEditing使用预训练模型完成推理查找并下载预训练模型调用API构建模型调用API进行推理分析图像恢复效果使用自定义的数据集微调模型准备训练数据对应修改配置文件启动训练使用微调后的模型完成推理 使用MMEditing进行图像超分辨率 安装MMEditing # 检查PyTorch版本 !pip list | grep torch # 安装对应版本的mmcv-full !pip install mmcv-full -f
OpenMMLab：计算机视觉开源框架深度解析
OpenMMLab的总体架构涵盖了从基础库到特定任务框架的各个层面，包括抽象训练接口、公用底层模块和视觉基础库。这些框架建立在统一的基础上，允许研究人员和开发者在不同的任务之间进行快速迁移和实验。此外，Open...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值