视频超分：对齐、融合、特征提取、重建，EDVR、BasicVSR、BasicVSR++、RealBasicVSR

已于 2023-03-15 12:14:25 修改
阅读量2k 收藏 12
点赞数
分类专栏： AI比赛与实战 计算机视觉 超分 文章标签： 音视频 超分辨率重建 图像处理 深度学习 人工智能
于 2022-08-11 15:48:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53610475/article/details/126286280
版权

​
​

活动地址：CSDN21天学习挑战赛

1.独特之处

  • 可以利用多帧间的信息更好地完成超分
  • 帧间是时间上的信息，像素点上体现空间上的信息
  • 流程：对齐、融合、特征提取、重建

2.对齐

  • 视频帧间会发生抖动，需要进行对齐才能使用起来
  • 方法：
    • 光流算法处理：VESPCN、SPMC、TOFlow
    • 动态滤波和形态卷积

3.融合

  • 2D、3D卷积：VESPCN、TOFlow
  • 循环结构（如：Conv LSTM）：SPMC

4.EDVR

  • 2019年，视频超分、去模糊等4项任务中获得第一
  • 在特征空间上进行对齐和融合，而不是在图像层面对齐融合
  • PCD对齐：金字塔级联变形，使用可形变卷积，更适合处理大运动的视频
  • TSA融合：时空注意力机制，处理遮挡、模糊、未对齐的问题，在每帧（时间）上分配像素级别（空间）的权重

5.BasicVSR

  • CVPR2021
  • 结构上更加简单，效果、速度也更好

6.BasicVSR++

  • 使用更大的数据集进行训练

7.RealBasicVSR

  • CVPR2022
  • 针对真实世界，BasocVSR在真实世界的数据集上迁移训练
  • 图像清洗模块：加入了图像清洗的模块，从而减轻噪声和伪像，但是会出现过度平滑的情况，又用动态优化的方案自动停止清洗过程来避免过度平滑
  • 动态优化：设定一个阈值，重复清洗一张照片，如果照片清洗前后的变化小于阈值就停止，推荐阈值：gan:5，不是gan的：1.5
阿航626
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
TDAN视频超分论文完整翻译.docx
09-13
翻译了一下TDAN，网络结构详解会在以后逐步更新
视频超分：EDVR（EDVR: Video Restoration with Enhanced Deformable Convolutional Networks）
WangsyHebut的博客
09-28 3592
论文：EDVR：视频超分与加强的可变形卷积网络 文章检索出处： 2019 ICCV仅供学习使用，请勿转载。
RealBasicVSR超分算法总结
weixin_41012399的博客
06-01 1612
github链接： 参考：https://zhuanlan.zhihu.com/p/482656858 https://blog.csdn.net/qq_39967751/article/details/124292824 1.应用： 图片超分； 视频超分； 2.背景 非盲超分 (non-blind super-resolution)：超分辨率的子领域。在这个任务中假设下采样的方式已知（例如 bicubic 下采样），因此可以人工生成无限训练数据。 真实视频超分 (real-world video supe
BasicVSR++模型转JIT并用c++libtorch推理
最新发布
凉_白开的博客
03-29 475
BasicVSR++是一种先进的视频超分辨率（Video Super-Resolution）技术，它基于深度学习，通过优化网络结构和算法，实现了对低分辨率视频的高效、高质量放大。该技术结合了时空特征融合、残差学习以及注意力机制等先进方法，有效提升了视频超分辨率的重建性能。 BasicVSR++在保持视频帧间连续性和一致性的同时，显著增强了图像的细节和纹理信息，使得重建后的视频在视觉效果上更加清晰、自然。此外，该技术还具有良好的泛化能力，能够处理各种不同类型的视频内容，包括人物、场景、动态物体等。
DUF network动态上采样滤波一阶视频超分论文完整翻译.docx
09-13
最近，视频超分辨率 (VSR) 在为超高清显示器提供高分辨率 (HR) 内容方面变得更加重要。虽然已经提出了许多基于深度学习的 VSR 方法，但其中大多数都严重依赖于运动估计和补偿的准确性。我们在本文中介绍了一个完全不同的 VSR 框架。
视频超分：MuCAN（MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution）
WangsyHebut的博客
10-18 2716
论文：MuCAN：多对应聚合的视频超分 文章检索出处： 2020 ECCV 本文提出了： 1. 一种时间多对应聚合(TM-CAM)策略，去利用跨帧的相似补丁 2. 一种跨尺度的非局部对应的聚合(CN-CAM)方案，去探索帧内不同尺度的自相似性 3. 引入了边缘感知损失，使所提议的网络能够生成更好的边缘 基于上述，我们建立了一个有效的多对应聚合网络(MuCAN)，实现了SOTR。 输入2N+1个连续帧去预测中心帧。模型由三部分构成:TM-CAM、CN-CAM和重构模块。给定两个相邻的LR帧It−1LI_{t
视频超分辨
01-27
利用CLG变分光流估计对视频中相邻帧图像进行配准，再利用不同帧图像间的互补信息进行超分辨率重建。
视频帧对齐算法
xidajiancun
12-20 2739
对于两段视频，可能内容源相同，但采集的开始时间不一，或视频格式有所差别，或采集中信号传输的损坏率有所差别。 在这种情况下，如何将它俩基于视频帧对齐，找到一个共同的基准点，是一个值的研究的问题。 本文针对这种问题，提供一种技术解决思路，并笔者已经验证可行： 1、将视频分别标记为A、B 2、从B视频中间提取一段，全部解出帧图像组x 3、将A所有帧均解出图像组y 4、将x、y...
轻量且高性能的视频超分算法——BasicVSR
datayx的文章
05-16 2125
向AI转型的程序员都关注了这个号????????????这篇文章是2021年的CVPR，文章作者是和EDVR同一批的人。该篇文章提出了一个轻量且高表现性能的视频超分framework——BasicVSR。BasicVSR改进了传统VSR结构中的propagation和alignment部分，分别提出了一个双向视频流的循环结构以及基于flow-based的feature-wise对齐方法。此外，在BasicVSR的基...
视频超分：RRN（Revisiting Temporal Modeling for Video Super-resolution）
WangsyHebut的博客
10-12 4182
论文：用于视频超分的再审视时空模型 文章检索出处： 2020 BMVC
视频超分：DDAN（Learning a Deep Dual Attention Network for Video Super-Resolution）
WangsyHebut的博客
11-26 1653
论文名称：一个深度对偶注意的视频超分辨率网络 文章检索出处： IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 29, 2020以往的方法大多采用小尺度运动估计来处理大的运动，由于空间分辨率的降低，会对运动估计的精度产生不利影响。此外，这些方法通常对不同的中间特征一视同仁，对高频细节信息的利用缺乏灵活性。为了解决上述问题,本文的主要贡献如下：先将中心帧ItLI_t^LItL​和相邻帧IiLI_i^LIiL​输入到MCNet中，生成相邻运动补偿帧I^iL\hat I_i
basicvsr 仓库中的edvr deblur pretrained model
07-06
basicvsr 仓库中的edvr deblur pretrained model
basicvsr 仓库中的edvr deblur uncomp pretrained model
07-06
basicvsr 仓库中的edvr deblur uncomp pretrained model
Multi-sensor-images-matching_视频超分辨_信息融合系统_
10-03
信息融合，天池2019阿里巴巴优酷视频增强和超分辨率挑战赛自用代码，EDVR、WDSR、ESRGAN三个模型。
EDVR_Vimeo90K_SR_L.pth
06-10
开源视频增强项目EDVR 训练好的模型EDVR_Vimeo90K_SR_L Name convention EDVR_(training dataset)_(track name)_(model complexity) track name. There are four tracks in the NTIRE 2019 Challenges on Video ...
全部的EDVR预训练模型
11-23
EDVR 超分辨率，GitHub上代码没有预训练模型。这里提供了官方全部的。----------------------------------------------------------------------------
探索OpenCV的光流算法视频超分与源码实现
徐福记456
06-18 1859
​在OpenCV4.0以后，视频图像超分模块已经迁移到opencv_contrib独立仓库。在视频超分有两种形式：结合光流算法实现超分、使用CNN卷积神经网络实现超分。在这里主要探索光流算法实现视频超分，然后进一步分析源码实现。
【视频超分辨率】视频超分辨率的介绍（定义，评价指标，分类）
h661975的博客
11-29 1946
视频超分率起源于图像超分率，旨在根据已有的低分辨率视频序列生成具有真实细节和内容连续的高分辨率视频序列。视频超分辨率技术可以将，以提供更多的细节和清晰度。视频超分辨率技术主要分为的方法两类。视频超分辨率评价标准主要为。接下来，我将展开详细介绍视频超分的两个方法和评价标准。
RealBasicVSR（CVPR2022）复现过程
weixin_42130300的博客
05-12 2143
RealBasicVSR（CVPR2022）复现过程，引流：BasicVSR，BasicVSR++，RealBasicVSR，EDVR，MMagic
将Edvr.cfg文件解析为一个Config结构体
05-27
假设`Edvr.cfg`文件内容如下： ``` [General] Version=1.0 Name=Edvr [Parameters] InputFile=input.mp4 OutputFile=output.mp4 FrameRate=30 ``` 可以通过以下步骤将`Edvr.cfg`文件解析为一个`Config`结构体： 1. 定义`Config`结构体，包含`General`和`Parameters`两个结构体。`General`结构体包含版本号和名称，`Parameters`结构体包含输入文件名、输出文件名和帧率。 ```c typedef struct { struct { float version; char name[50]; } general; struct { char input_file[100]; char output_file[100]; int frame_rate; } parameters; } Config; ``` 2. 编写解析函数，读取`Edvr.cfg`文件，并将读取的内容存储到`Config`结构体中。 ```c #include <stdio.h> #include <stdlib.h> #include <string.h> Config parse_config_file(const char* file_name) { Config config = {0}; char line[100]; char section[20] = ""; FILE* fp; fp = fopen(file_name, "r"); if (fp == NULL) { printf("Failed to open file: %s\n", file_name); return config; } while (fgets(line, sizeof(line), fp) != NULL) { // 去除行末换行符 if (line[strlen(line) - 1] == '\n') { line[strlen(line) - 1] = '\0'; } // 处理段落信息 if (line[0] == '[' && line[strlen(line) - 1] == ']') { strcpy(section, line + 1); section[strlen(section) - 1] = '\0'; } else { // 处理键值对信息 char* key = strtok(line, "="); char* value = strtok(NULL, "="); if (strcmp(section, "General") == 0) { if (strcmp(key, "Version") == 0) { config.general.version = atof(value); } else if (strcmp(key, "Name") == 0) { strncpy(config.general.name, value, sizeof(config.general.name) - 1); config.general.name[sizeof(config.general.name) - 1] = '\0'; } } else if (strcmp(section, "Parameters") == 0) { if (strcmp(key, "InputFile") == 0) { strncpy(config.parameters.input_file, value, sizeof(config.parameters.input_file) - 1); config.parameters.input_file[sizeof(config.parameters.input_file) - 1] = '\0'; } else if (strcmp(key, "OutputFile") == 0) { strncpy(config.parameters.output_file, value, sizeof(config.parameters.output_file) - 1); config.parameters.output_file[sizeof(config.parameters.output_file) - 1] = '\0'; } else if (strcmp(key, "FrameRate") == 0) { config.parameters.frame_rate = atoi(value); } } } } fclose(fp); return config; } ``` 上面的代码中，使用`fgets()`函数逐行读取`Edvr.cfg`文件的内容，然后根据行内容的不同，分别处理段落信息和键值对信息。具体来说： - 如果行内容以方括号开头和结尾，说明这是一个段落信息，需要将方括号中的内容作为当前段落的名称。 - 如果行内容中包含等号，说明这是一个键值对信息，需要将等号左边的字符串作为键，等号右边的字符串作为值。根据当前段落的名称和键的名称，将值存储到`Config`结构体的相应字段中。 3. 调用解析函数，读取`Edvr.cfg`文件并打印配置信息。 ```c int main() { Config config; config = parse_config_file("Edvr.cfg"); printf("General:\n"); printf("Version: %.1f\n", config.general.version); printf("Name: %s\n", config.general.name); printf("Parameters:\n"); printf("InputFile: %s\n", config.parameters.input_file); printf("OutputFile: %s\n", config.parameters.output_file); printf("FrameRate: %d\n", config.parameters.frame_rate); return 0; } ``` 上面的代码中，调用`parse_config_file()`函数解析`Edvr.cfg`文件，并将解析结果存储到`config`结构体中。然后，打印`config`结构体中的各个字段。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿航626

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值