Recurrent Back-Projection Network for Video Super-Resolution图像超分辨----RBPN测试及训练

Recurrent Back-Projection Network for Video Super-Resolution图像超分辨----RBPN测试及训练

学习之余，做个笔记。本文详细介绍了超分辨方法-RBPN的测试及训练
论文地址：https://alterzero.github.io/projects/RBPN.html
代码地址：https://github.com/alterzero/RBPN-Pytorch

1、RBPN测试：

（Window10系统下进行）
（1）创建虚拟环境
（2）安装python3.7，pytorch1.7.0，cuda11.0以及必要的安装包
Imageio，scipy，opencv-python，scikit-image
（3）安装pytorch1.7.0和对应版本的cuda11.0：终端输入如下命令

conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=11.0 -c pytorch

（4）接下来进行pyflow的编译

cd pyflow/
python setup.py build_ext -i

出现错误：编译pyflow时出现错误

解决办法：将pyflow文件夹中的project.h中的一行宏定义注释掉，如图：

参考链接：https://blog.csdn.net/bvngh3247/article/details/90051916
运行编译命令，出现如下信息，证明编译成功！

接下来，将下载的模型拷贝到项目文件夹weights中
将数据集也拷贝到对应的文件夹中
运行出错：

解决办法：此处仍然要加上下面这行代码

运行出现如下错误。

分析原因：可能是pyflow编译结束生成的扩展库找不到。
解决办法：将编译生成的pyflow.cp37-win_amd64.pyd扩展库拷贝到pyflow根目录下，这样就可以找到coarse2fine_flow了。
再次运行：
出现如下结果

测试结束！
也可以更改自己的数据集进行测试。步骤如下：
将数据放在Vid4文件夹下，并按照目录做一个txt文件，更改程序中的相应位置，就可以测试自己的数据了！


更改代码如下位置

便可以进行测试。
测试结果为
注意：超分辨对显存要求较高，如果图片分辨率太大会出现CUDA out of memory的错误，显存不够！
解决办法：
① batch_size参数设置的小一点。
② with torch_no_grad( )：数据不需要梯度计算，即不会进行反向传播。
③ 可以通过改小图片的分辨率来解决。

2、RBPN训练：

（Windows10系统下）
（1）输入命令：python main.py


（2）出现如上图所示：开始训练
如果需要更改自己的训练数据，更改main.py文件参数即可，如下：
data_dir是存放数据集的，file_list是真实值得路径



如果出现如下现象：

解决办法：将线程数设置成0，main.py文件中代码更改如下：

如果出现如下错误，显存不够，可以更改batch_size参数，减小。

训练结束的模型，保存在weights文件夹下

之后可以使用自己训练的模型进行针对性测试。