无语 实现basicsv超分辨,数据包导入之后就会出错。还有终端打开一些命令也要有大小写的区分,anaconda,pytorch,cuda环境都弄好了。明天把cudnn弄下 再实现算法
今天把git配置好了 把mmediting项目导入到pycharm中了,继续加油ba!
VSR视频超分带来的额外挑战也就是一些技术问题相比较于单图像超分辨率,涉及到从视频序列中多个高度相关但没有对齐的帧中聚合信息。
VSR技术主要就是通过传播,对齐,聚合,上采样这四个环节来改进的。basicvsr技术就是利用传播和对齐组件的选择使得性能和效率的提高,双向传播方案来收集信息,基于光流的方法来估计相邻帧之间的特征进行对齐。
Related Work 现有的VSR方法主要分为滑动窗口和递归两种框架,现在发展vSR基本就是递归框架
Methodology:VSR技术的发展主要是空间维度和时间维度的聚合信息的过程的多重考虑,以往的研究只是在一个维度进行处理,但basic是两个维度宏观角度。
basic中的结构分析:1 propagation:现有的传播方案分三大类:本地传播、单向传播、双向传播。经过验证,前两种均有劣势,只有双向有用。2alignment(对齐)也是有三种方式:无对齐、图像对齐、特征对齐。最终这个实验验证的是特征对齐。利用无对齐则性能会不佳。就是通过排除法来选择出最优的是特征对齐。BasicVSR最大的优点就是有很高的通用性,因为他很容易纳入额外的组件来处理不同情况,也就是说除了上述四个组件以外还可以加其他的。
一些挑战就是:在信息边沿部分,对于对齐的问题还是存在一些问题
Experiments:
conclusion:这些工作可以扩展到其他的视觉任务,比如:视频去模糊,去燥、着色
要有高效、轻量级的 VSR 技术,将大量低分辨率 (LR) 视频升级为高分辨率 (HR) 视频
SR技术的研究对象是视频资源的图像序列。
而图像序列就是连续的帧,由一系列静态图像组成。
当视频中的物体运动速度较快,在单个图像中表现为运动模糊效果,因此目标帧与其相邻帧之间会出现子像素位移。因此,VSR系统使用有效的运动补偿算法对齐相邻帧至关重要。
采样路线的不同,大致可以分为两类:基于插值的上采样方法(interpolation-based upsampling methods)和基于学习的上采样方法(learning-based upsampling methods)。
由于所有基于插值的上采样方法都会导致图像边缘模糊,而基于学习的上采样方法则具有强大的特征学习能力
我的总结问题:分为四个部分就是改进这四个部分就能出现恢复效果和计算速度的变化,传播、对齐、聚合、上采样。主要是对齐和上采样存在一些问题: 对齐:VSR系统使用有效的运动补偿算法对齐相邻帧至关重要。
具体对齐和上采样有什么改进的可以再查资料看看