《论文阅读》Video Super-resolution with Temporal Group Attention

最新推荐文章于 2023-01-13 00:03:05 发布
最新推荐文章于 2023-01-13 00:03:05 发布
阅读量1.8k 收藏 6
点赞数
分类专栏： 计算机视觉 深度学习 文章标签： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/108456801
版权

留个笔记自用

Video Super-resolution with Temporal Group Attention

做什么

Video super-resolution视频超分辨，经典应用，低分辨率的图片在放大后必然是模糊的，超分辨做的便是将低分辨的图片转化成高分辨率的图片并且做到清晰。
在这里插入图片描述
这里的视频超分辨也是同样一个意思，不过将图片转换成了视频的某个部分，但这里有所增加的依靠便是视频存在着上下帧。
在这里插入图片描述

做了什么

在这里插入图片描述
简单来说就是针对不同的帧速率融合时空信息，获得了更细致的前后相关的纹理，还应对了大运动的特殊情况
在这里插入图片描述

怎么做

在这里插入图片描述
整体结构分为四个部分，Temporal Grouping部分、Fusion部分、upsample部分、Fast Spatial Alignment部分，输入为一串视频序列
在这里插入图片描述
将序列分为三个部分，参考帧、前相邻帧、后相邻帧，整体的作用是通过前后相邻帧的时空信息来重建参考帧，如图中的示例为7帧，这时候可以将其第四帧作为参考帧，1-3作为前相邻帧，5-7作为后相邻帧。总而言之，总帧数为2N+1，前相邻帧为N，后相邻帧为N，参考帧为1
在这里插入图片描述
首先是Temporal Grouping和Fusion部分
在这里插入图片描述
这部分的输入为2N+1的帧序列，这时候保证参考帧存在的情况下，其他帧根据与参考帧的距离分为N组，即与参考帧距离为1，2，3，…N（这里N=3）
在这里插入图片描述
然后是fusion部分，首先是对N个不同dilation的帧序列进行intra-group fusion，这里的fusion是为了对每组的特征提取，每个模块的结构都相同，均为3×3卷积+BN+3×3×3的3D卷积和dense等组成。值得注意的是这里的卷积使用的是空洞卷积，空洞卷积的dilation和每组的dilation相同，至于空洞卷积前面学过👉空洞卷积
然后是inter-group fusion部分，这部分是为了整合上面module得到的不同组的特征，输入就是特征，这里标记符号位Fng，对每个Fng进行一次3×3卷积后得到这一module的输入Fna，然后将所有组的特征concatenate起来后对每个位置进行softmax操作，得到对应的M1-MN，这一步是为了得到每个像素的时序attention
在这里插入图片描述
在这里插入图片描述
然后将M结合特征Fng得到attention后的特征
在这里插入图片描述
最后便是把这成熟的N个特征进行整合，首先先看下这里的整合结构
在这里插入图片描述
上面M1和F1g即为上面的attention map和特征，逐元素相乘后得到Fna，将所有的Fna堆叠起来，然后经过一个3D卷积来变化通道，同时也对所有组特征进行整合。然后再经过类似结构的2D block来进行进一步融合，称之最后得到的featuer为integrated feature。
然后是upsample部分
在这里插入图片描述
这部分的输入是前面的integrated feature，经过一个depth-to-space的操作将所有特征转化到一张图上，这张图即为Residual Map Rt，将这张图和对参考图的双三次上采样的结果融合得到最后的结果图。
这里的depth-to-space操作的意思通俗易懂些，就是把输入为[batch, height, width, channels]形式的Tensor，其在depth维的值将移至height和width维的
最后是Fast Spatial Alignment即空间对齐部分
在这里插入图片描述
这部分主要是为了解决上面不太好解决的一个问题，就是运动较大的时候
在这里插入图片描述
这里的做法暂时还未理解，大致意思是先使用SIFT等方法计算图片的兴趣点，然后使用兴趣点来计算图片的单应性，针对相邻的帧采取扭曲防止运动过大
在这里插入图片描述

总结

1.除了时空对齐部分没有什么特殊的地方，再次见到了空洞卷积
2.这种分层的方法太过耗时，若2N+1的N特别大的话，将会分出太多的branch，直观感受可以改造网络成只有几个自适应的dilation会更好

未知丶丶
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ResGANet: Residual group attention network for medical image classification and segmentation
Acmer_future_victor的博客
09-26 2182
本文提出了一种模块化的组注意块，可以在两个独立的维度：通道和空间中捕获医学图像中的特征依赖关系。通过以 ResNet 样式堆叠这些组注意块，我们获得了一个新的 ResNet 变体，称为 ResGANet
注意力机制模块解析（附带代码链接）——SGE（Spatial Group-wise Enhance）
ITOMG的博客
11-17 9343
《Spatial Group-wise Enhance: Improving Semantic Feature Learning in Convolutional Networks》 arXiv：https://arxiv.org/abs/1905.09646 github：https://github.com/implus/PytorchInsight 本篇是轻量attent...
视频超分辨论文理解：Frame-Recurrent Video Super-Resolution
造未来
04-29 5369
该文是2019年CVPR上的视频超分辨论文。 该文章主要是针对以前视频超分辨的缺点：将视频超分辨问题看作是大量的单独的多帧超分辨任务。每个多帧超分辨任务负责根据输入的多帧LR图像生成一个HR图像，这样产生的各个HR图像之间由于缺乏联系，在时间连续性上比较差，出现伪影。同时这样做的计算复杂度比较高。 于是，作者提出在生成下一帧图像时，考虑之前生成的HR图像，将其也输入网络，这样不仅能产生时间连续的结...
VideoSuperResolution：一组最新的视频或单图像超分辨率架构，在Tensorflow中重新实现
02-06
视频超分辨率 在tensorflow中重新实现的最新视频或单图像超分辨率体系结构的集合。 项目现已上传到PyPI。 尝试从PyPI安装： pip install VSR 预先训练的权重现在正在上传。 现在还包括一些引用的PyTorch实现。 快速链接： 网络列表和参考（更新） 超链接指向论文站点，如果作者为开源，则遵循官方法规。 所有这些模型都在ONE框架中实现。 模型 已发表 码* VSR（TF）** VSR（火炬） 关键词 预训练 神经网络 -， ÿ ÿ 开明 RAISR -- -- -- Google，Pixel 3 埃斯佩克 -， ÿ ÿ
CVPR21 - BasicVSR：简单有效的视频超分辨率Baseline
要相信光
01-13 1759
视频超分辨率算法BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond
matlab最简单的代码-video-super-resolution:在Pytorch中实现的视频超分辨率
05-22
matlab最简单的代码视频超分辨率，SRCNN，MFCNN，VDCN...您应该看到数据路径是video-super-resolution/data/train/ 。 处理数据 数据由MATLAB脚本处理，原因是MATLAB的插值实现不同于Python。 为此，请打开您的MATLAB $
OCR-with-super-resolution
03-30
在“OCR-with-super-resolution”这个项目中，我们关注的是如何通过超分辨率技术来提升OCR的性能。 超分辨率（Super-Resolution）是图像处理领域的一个重要分支，主要目标是将低分辨率（Low-Resolution，LR）图像...
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
02-11
An End-to-End Spatio-Temporal Attention Model for Human ActionRecognition from Skeleton Data
论文研究-Multiple Description Video Coding Using Rate-Distortion Optimized Temporal Sampling.pdf
08-16
率失真优化时域采样的多描述视频编码，白慧慧，万丽莉，本论文提出了一种基于前后处理的有效的多描述视频编码方案，该方案可以与现有的国际视频编码标准有效兼容。在预处理过程中，在进
TCN-with-attention-master_attention_tcn_attention预测_attention-LS
09-11
标题中的"TCN-with-attention-master_attention_tcn_attention预测_attention-LS"暗示了这是一个关于时间卷积网络（Temporal Convolutional Network, TCN）与注意力机制（Attention Mechanism）结合的项目，主要用于...
videojs-super-resolution:视频JS的超分辨率
05-17
videojs-超分辨率 超级分辨率超强！ 安装 npm install --save @mux/videojs-super-resolution 用法 要将videojs-super-resolution包含在您的网站或Web应用程序中，请使用以下任何一种方法。 [removed]标记 这是最简单的情况。 以您喜欢的任何方式获取脚本，并在包含之后添加，以使videojs全局可用。 < script src =" //path/to/video.min.js " > </ script > < script src =" //path/to/videojs-super-resolution.min.js " > </ script > < script > var player = videojs ( 'my-video' ) ; player . superResolution
Video Super-resolution with Temporal Group Attention | 摘要翻译 | 视频超分重建 |
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
01-27 617
https://arxiv.org/pdf/2007.10595.pdf https://github.com/junpan19/VSR_TGA 论文对应代码，现已开源（致敬大佬） 额，后续有时间再测试代码… 少量翻译（有道词典） Abstract 视频超分辨率是一种将相应的低分辨率视频转化为高分辨率视频的技术，近年来受到越来越多的关注。 在这项工作中，我们提出了一种新的方法，可以有效地整合时间信息在一个层次的方式。输入序列被分成若干组，每组对应一种帧速率。这些组提供互补的信息来恢复参考框架中..
超分辨率概述
Lce的专栏
10-19 7168
超分辨率(Super-Resolution)通过硬件或软件方法提高原有图像的分辨率，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建，可以通过人工智能深度学习将低分辨率视频重建成高分辨率视频模糊图像、视频瞬间变高清，为移动端为用户带来极致视频体验。广义的超分辨率 (SR, Super Resolution) 是指一类用于提升图像分辨率的技术。这类技术已经存在了很长一段时间，应用也非常广泛。
super resolution 论文阅读简略笔记（个人，不持续）
Zealoe的博客
11-16 7605
从deep learning开始后开始看的。具体实验细节没看。写的比较简略，只buchix是为了过段时间忘记论文内容的时候还可以翻下。。。 1. Image Super-Resolution Using Deep Convolutional Networks 以往都是采用传统方法进行super resolution。这篇论文提出SRCNN，第一次用deep learning解...
《Multi-Frame Video Super-Resolution Using Convolution Neural Networks》 读书笔记
宝树啊宝树
03-22 1409
论文地址 MSEMSEMSE定义 MSE(Y^,Y)=1213HW∑i=1H∑j=1w∑k=13(Y^ijk−Yijk)2MSE(Y^,Y)=1213HW∑i=1H∑j=1w∑k=13(Y^ijk−Yijk)2MSE(\hat{Y},Y)=\frac{1}{2}\frac{1}{3HW}\sum_{i=1}^{H}\sum_{j=1}^{w}\sum_{k=1}^{3}(\hat{Y}_{...
视频超分重建综述 |Video Super Resolution Based on Deep Learning: A Comprehensive Survey | 翻译简记
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
01-20 1485
视频超分重建综述 有道翻译 该综述其它可参考链接：https://zhuanlan.zhihu.com/p/342225916 Video Super Resolution Based on Deep Learning: A Comprehensive Survey 论文链接： https://arxiv.org/pdf/2007.12928.pdf Abstract 近年来，深度学习在图像识别、自然语言处理、语音识别和视频超分辨率等领域取得了长足的进展。 在本研究中，我们综合研究了33种最先进的基.
Group Transformer：实现轻量级的字符级语言模型
小岁月太着急
12-31 1443
GROUP-TRANSFORMER: TOWARDS A LIGHTWEIGHT CHARACTER-LEVEL LANGUAGE MODEL INTRODUCTION 本文介绍了一种用于字符级语言建模的轻量级转换器。我们的方法是一种因式分解方法，它使用分组线性操作来分离transformer架构中的标准线性层，并在线性转换之间进行稀疏连接。该模型受到群卷积方法的启发，被称为Group Tra...
视频超分：iSeeBetter（ Spatio-temporal video super-resolution using recurrent generative back-projecti...）
WangsyHebut的博客
10-20 876
论文：iSeeBetter：使用递归生成反投影网络的时空视频超分 文章检索出处： 2020 arXiv 读后感：本文模型使用RBPN作为生成器，SRGAN的判别器作为判别器。使用了四个损失函数。有关RBPN模型的内容详见之前的文章：视频超分：RBPN（Recurrent Back-Projection Network for Video Super-Resolution） 本文提出一种基于GAN的视频超分方法—iSeeBetter。创新点如下：使用双三次插值进4倍下采样，训练/验证/测试分别为80%/10%
Detail-revealing Deep Video Super-resolution 论文笔记
Cyiano的博客
10-27 6306
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记简介 视频超分辨关注的主要问题有两个：一是如何充分利用多帧关联信息，而是如何有效地融合图像细节到高分辨率图像中。 动作补偿方面，深度学习方法用的是backward warping到参考帧，但这个方法其实并不是最优的。多帧融合方面，虽然很多CNN方法可以产生丰富的细节，但不能确定图像细节是来自
ViSiL: Fine-grained Spatio-Temporal Video Similarity Learning
最新发布
06-10
ViSiL是一种基于细粒度时空视频相似性学习的方法。它主要用于视频检索、视频分类和视频推荐等应用。ViSiL的核心思想是利用卷积神经网络（Convolutional Neural Networks，CNN）学习视频的时空特征，并使用双线性汇合...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值