【论文解读】Edge-oriented Convolution Block for Real-time Super Resolution on Mobile Devices

于 2024-10-17 23:04:41 发布
阅读量778 收藏
点赞数 20
分类专栏： 解读论文 深度学习-PyTorch 图像处理-OpenCV 文章标签： 音视频 深度学习 图像处理 图像超分 superresolution 边缘导向卷积 卷积神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanceyxin/article/details/143029804
版权

摘要

  1. 研究背景：在实际应用中，高效且轻量级的图像超分辨率技术非常受欢迎。尽管许多现有研究致力于减少模型参数和浮点运算次数（FLOPs），但这并不一定能提高在移动设备上的运行速度。
  2. 提出的技术：作者提出了一种可重参数化的构建模块，名为边缘导向卷积块（Edge-oriented Convolution Block, ECB）。在训练阶段，ECB通过多条路径提取特征，包括常规的3x3卷积、通道扩展和压缩卷积，以及从中间特征中提取的一阶和二阶空间导数。在推理阶段，这些操作可以合并为一个单一的3x3卷积。
  3. ECB的优势：ECB可以被视为常规3x3卷积的直接替代品
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【图像超分】论文精读：Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach（CFSR）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-03 63
论文题目：Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach —— 变换图像超分辨率：一种基于ConvFormer的高效方法TIP 2024！轻量化赛道。单图像超分辨率 (SISR) 的最新进展取得了显着的性能，但这些方法的计算成本仍然是部署在资源受限的设备上的挑战。特别是对于基于转换器的方法，此类模型中的自注意力机制带来了巨大的突破，同时产生了巨大的计算成本。
计算机视觉论文总结系列（一）：目标检测篇
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-23 8643
本系列主要面向计算机视觉目标检测、图像分割及OCR等领域，每篇将对该领域论文等方面展开介绍，本篇主要介绍目标检测领域历年论文，希望大家能够多多交流如有错误请大家在评论区指正，如有侵权联系删除
边缘导向卷积块为移动设备提供实时超分辨率
09-23
文章提出了一种用于超分辨率模型高效设计的新架构--边缘导向卷积块（Edge-oriented Convolution Block，简称ECB），并基于ECB进一步设计了面向移动设备的超轻量级超级图像上采样网络ECBSR，在多种基准数据集测试验证了其实时性能及效率的有效性。 适合人群包括从事计算机视觉研究尤其是移动设备上的高效神经网络应用的研究员和技术工程师。 应用场景主要是为了满足实际部署需要，即利用移动设备有限计算硬件资源完成图像视频实时高质量地进行低分辨率至高分辨率转换，同时兼顾推理速度和内存消耗。 本文提供了深入分析现有模型瓶颈以及解决思路与方法的具体细节，旨在提供对当前移动平台图像恢复解决方案有所助益的探讨和实验成果。
Edge-oriented Convolution Block for Real-time SuperResolution on Mobile Devices
mytzs123的博客
03-27 449
在实际应用中，对高效、轻量级的超分辨率（SR）提出了很高的要求。然而，大多数专注于减少模型参数和FLOP数量的现有研究可能不一定会导致移动设备上更快的运行速度。在这项工作中，我们提出了一种可重新参数化的构建块，即面向边缘的卷积块（ECB），用于高效的SR设计。在训练阶段，ECB提取多个路径中的特征，包括正常的3×3卷积、通道扩展和压缩卷积，以及来自中间特征的一阶和二阶空间导数。在推理阶段，可以将多个运算合并为一个单独的3×3卷积。ECB可以被视为一种减少替换，以提高正常3×3卷积的性能，而不会在推理阶段引入
轻量级超分网络：Edge-oriented Convolution Block for Real-timeMM21_ECBSR 和 eSR
tony365的博客
10-18 1198
训练的时候网络右五个分支组成，在inference的时候可以利用re-parameteize技术合并为一个conv-3x3,这样推理的速度和效率都得到提高，精度基本上没有损失。多分支结构，以及dense connections 可以丰富特征提取和表示， 虽然不会引入太多 FLOPs， 但是会牺牲并行化速度，以及受到DDR 低带宽的影响。另外一些 delite conv等其他卷积方法也有被提出来提高 网络性能，但是在GPU，NPU上可能没有被很好的优化。一个单独的conv-3x3。关于重参数化具体实现。
结构重参数化~边缘设备实时超分模型
whaosoft143ai的博客
07-30 594
本文中作者想要借助重参数化技术设计 plain 类型的超分模型。ECBSR 使用多个分支的线性组合来训练模型，并在推理阶段将它们合并为标准的 3×3 卷积。BN 操作对于超分任务而言并不友好，ECBSR 方法通过删去 BN 操作，并借助手工设计的复杂模块来缓解这一问题。具体而言，ECB 在训练时的结构包含一个正常的 3×3 卷积支路，Expand-and-Squeeze Convolution 支路，卷积和 Sobel 滤波器分支，卷积和 Laplacian 滤波器分支。whaosoft aiot http
推荐文章：ECBSR——轻量级实时超分辨率解决方案
gitblog_00068的博客
08-30 1130
推荐文章：ECBSR——轻量级实时超分辨率解决方案 ECBSREdge-oriented Convolution Block for Real-time Super Resolution on Mobile Devices, ACM Multimedia 2021项目地址:https://gitcode.com/gh_mirrors/ec/ECBSR 在追求高清视觉体验的今天，如何让图像在移动设...
Paper Reading-list
life_86的博客
03-21 780
Super-Resolution Aligned Structured Sparsity Learning for Efficient Image Super-Resolution (NeurIPS2021) (Pruning, Align ResBlock) Collapsible Linear Blocks for Super-Efficient Super Resolution (arXiv2021) (Reparameter, Gradient update of Reparameter, te
【论文阅读笔记】NITRE 2022 Challenge on Efficient Super-Resolution: Methods and Results
时光机 °的博客
06-30 3664
ESR竞赛
GitHub上图像超分开源项目推荐【持续更新】
最新发布
世界那么大，我想去看看～
09-23 3394
GitHub上图像超分开源项目推荐
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
超分辨率技术在实时音视频领域的研究与实践
netease_im的博客
07-05 1321
网易云信音视频实验室取得 NTIRE 高效率超分辨率挑战赛总体性能赛道冠军，以及运行时间赛道季军。本文将着眼于 AI 超分技术从研究到部署的落地问题，介绍超分辨率技术现状，以及视频超分在移动端落地应用所面临的机遇与挑战。...
推荐：Codes for ECBSR - 移动设备实时超分辨率的边缘导向卷积块
gitblog_00013的博客
06-09 500
推荐：Codes for ECBSR - 移动设备实时超分辨率的边缘导向卷积块 ECBSREdge-oriented Convolution Block for Real-time Super Resolution on Mobile Devices, ACM Multimedia 2021项目地址:https://gitcode.com/gh_mirrors/ec/ECBSR 项目简介 Cod...
卷积模块结构re-parameterization
tony365的博客
02-19 1275
就是 3x3, 1x3, 3x1 3个卷积核在推理阶段融合为1个3x3卷积核。在实际使用的时候注意，并不是先将每个分支卷积核融合 再进行BN，而是先 每个卷积核都有自己的BN 然后与BN融合后， 再进行每个分支卷积核融合。后者比前者效果更好，虽然前者也比直接训练一个3x3要好。
NTIRE 2023 Challenge on Efficient Super-Resolution——RepRFN：当RFDN遇到重参数化
weixin_43800577的博客
07-12 4493
为了解决在资源受限的设备上很难部署超分模型（模型参数、计算量过大）的问题，本文探索了轻量化超分中信息蒸馏机制（information distillation mechanism）和残差学习机制（residual learning mechanism）在性能和效率上的差异，提出了基于重参数化（reparameterization）的轻量级超分网络结构，叫做RepRFN。
[转] CVPR 2020 & AAAI 2020超分辨率（super-resolution）方向上接收论文总结（持续更新）
u014546828的博客
06-11 4183
CVPR 2020 官网链接：http://cvpr2020.thecvf.com/ 时间：Seattle, Washington，2020年6月14日-6月19日 图像超分辨率 Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy 论文：https://arxiv.org/abs/2004.00448 代码：https://github.com/.
CVPR2021论文列表（中英对照）
热门推荐
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
CVPR2020超分辨方向文章总结（上）
weixin_43840215的博客
09-14 3331
1.Investigating Loss Functions for Extreme Super-Resolution NTIRE2020极限超分亚军方案，出自CIPLab。LPIPS指标亚军，PI指标冠军。官方的评测指标是LPIPS，所以屈居亚军。 以往的超分辨方法主要是做4倍超分，很少一部分工作是16倍超分的。 problem The general approach for perceptual ×4 SR is using GAN with VGG based perceptual loss, ho
卷积运算（convolutional operation）和边缘检测（edge detection）
csdn_xmj的博客
04-27 2337
来源：Coursera吴恩达深度学习课程 卷积运算（convolutional operation）是卷积神经网络最基本的组成部分（fundamental building blocks），使用边缘检测（edge detection）作为入门样例（motivating example）。接下来，你会看到卷积是如何进行运算的。 在之前的人脸例子中，我们知道神经网络的前几层是如何检测边缘的，然后，后面的层有可能检测到物体的部分区域，更靠后的一些层可能检测到完整的物体。让我们举个例子（下方），给了这样一张
explicit spectral-to-spatial convolution for pansharpening
09-19
explicit spectral-to-spatial convolution for pansharpening是一种用于全色融合的显式光谱到空间卷积方法。全色融合是将高分辨率的全色（黑白）图像与低分辨率的多光谱（彩色）图像融合，以提高图像质量和细节。传统的融合方法常常使用高通滤波器进行频域操作，而explicit spectral-to-spatial convolution for pansharpening则使用基于卷积的空间域方法。 该方法基于以下原理：在全色图像中，光谱分辨率高，但空间分辨率较低；而在多光谱图像中，光谱分辨率较低，但空间分辨率较高。因此，通过将全色图像的光谱信息传递给多光谱图像，可以提高多光谱图像的空间分辨率。 explicit spectral-to-spatial convolution for pansharpening方法通过使用卷积核，将全色图像的光谱信息转换为空间域的高频细节。这个卷积核是根据光谱和空间信息之间的关系而设计的。通过将这个卷积核应用于低分辨率的多光谱图像，可以增强其空间细节，使其接近高分辨率的全色图像。 这种方法的优势在于显式地将光谱信息转换为空间域的细节，能够更好地保留图像的光谱特征和空间细节。与传统的频域方法相比，显式光谱到空间卷积方法更容易实现，并且能够更好地适应各种图像场景。 总之，explicit spectral-to-spatial convolution for pansharpening是一种通过卷积将全色图像的光谱信息转换为多光谱图像的空间细节的方法，以实现全色融合，提高图像质量和细节。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码流怪侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值