阅读的文献Improved EDVR Model for Robust and Efficient Video Super-Resolution
EDVR基础上改进的, 设计了这两个模块preprocessing module consisting of rigid convolution sub-modules and feature enhancement sub-modules
还设计了时域三维卷积融合模块(三维卷积不是二维卷积,课本(最常见的))
第三:channel attention approach(新的通道注意机制
Video enhancement with task-oriented flow)
时域三维卷积,效果好,而且三维卷积数目越多,结果越好。思想是将连续的帧视为一个多通道的特征图,通过时间序列对帧进行重组,形成特征图的深度,从而提取出时空冗余
它这些创新点。都是借鉴的,比如这个论文某个模块 的创新点咋加到另一个网络模块中?
没代码这论文。。。;
backbone:骨干网络,比如alexnet,ZFnet,VGG,googlenet...
benchmark:性能指标,比如accuracy,内存消耗,模型复杂度,或者在性能上很有代表性的算法框架。
baseline:
而basicvsr可以作为一个baseline
baseline一词应该指的是对照组,基准线,就是你这个实验有提升,那么你的提升是对比于什么的提升,被对比的就是baseline。
比如你要研究一个新的模型,你是在前人的模型基础上新增加了一些组件,别人也基本都是在这个模型上进行修改,那这个模型就叫做baseline model——基准模型。听名字就能听出来,就是你自己模型的一个基准,一个基本的框架,模型再复杂,最根本的框架是差不多的。
basic和iconvsr
这个project,
work_dirs即保存的就是工作日志,即实验记录。
tools里面有很多工具,train test等
这个tests里面的东西没搞太明白干嘛用的e
mmedit里面的apis装的是啥也没core也是
但是这个mmedit里面有basicvsr——net就是网络模型
EDVR:
一个模块:PCD:级联金字塔可变对齐模块。
:TSA融合模块,(时空注意机制应用于时域和空域)
挑战和改进在于:对齐、融合这两个点。
PCD:不同于以往的光流模块,它是能够每个帧的特征is applied
这两个模块看都看不懂e。。。。。。。
可变形卷积网络:
就是之前的卷积核是个固定的几乘几,而现在可变形的就是
可以任意形状。
transformer就像那种最基本的baseline,比如cnn卷积网络一样。它是一套基本网络,现在好多是把cnn的改成transformer。但是如果这两者能结合在一起肯定就更好。