2022中兴捧月图像去噪赛道结果小结

1. 赛题详情

赛题详情看这里

2. 大佬们的方案

先给大佬的文章引流：
中兴捧月算法挑战赛-RAW夜景图像去噪总结
使用restormer网络做2022年中兴捧月图像去噪
中兴捧月RAW图像去噪训练代码
2022中兴捧月算法挑战赛（RAW图像去噪）——初赛到决赛总结与反思
[2022]中兴捧月-图像去噪 - 龟壳的文章 - 知乎

3. 我（cai）的（ji）方案

第一次参加的low-level类比赛。没有相关经验，代码能力也是一般般。官方提供的demo包含网络模型以及测试代码，训练代码需要自己编写。最终排名123名，未晋级决赛。由于官方对压缩包大小有限制（300MB），除去图像以外，模型大小最多50MB左右。

3.1 方案

方案采用的是官方提供的Unet，尝试过修改Unet（替换为残差块）、以及VDN（Unet+DNCNN对抗），但是效果都不好。最终便采用官方的Unet一直训练，取loss最小的epoch测试进行提交。

3.2 过程

最开始是整图训练，仅使用官方提供的数据集，其中图片索引0-9作为验证集，10-99作为训练集。不使用数据增强以及额外数据集。由于训练图像尺寸非常大，batch size只能设置为1，而且显存占用16G，所以没有多卡或者大于16G的单卡做这个会非常吃力。为了学习以及锻炼代码能力，初期自己套了腰包租了一段时间GPU，试了好些平台，比如矩池云、mistGPU（别问为什么不用学校的，问就是那时候疫情在家用不了，实验室大方向也不在DL）。后期实在没有那么多钱花了，遂咬牙把下一年的研究生补贴提前花了，在海鲜市场搞了台二手的M40（24GB）主机。便开始了后续学习。

初期使用的方案很乱，尝试自行修改网络训练但是发现效果都很差。

中期参考了大佬开源的切图训练代码，自己依葫芦画瓢也写了个将图像分为patch进行训练的代码。分数有所提升。将输入图片切分成64个patch再进行训练。即已知训练图片的维度为$[4，1736，2312]$，每个patch的大小为$[4，1736/8，2312/8]=[4，217，289]$。这时候可以适当提高batch size了。

也从一开始采用的固定学习率、stepLR等改成了动态学习率，学习率更新公式如下：
$$lr=l{r}_{init}\times ({\gamma }^{\frac{epoch}{stepsize}})$$
其中:

• $l{r}_{init}=1e-4$
• $\gamma =0.5$
• $stepsize=\frac{epoch}{2}$

在参考了华科大佬的代码后，loss也从一开始的MSE替换成MSEloss结合L1loss，具体见下公式
$$loss=0.9MSE(pre,gt)+0.1L1(fft(pre),fft(gt))$$

3.3 反思

1. 模型超参数多不好改，多尝试优秀论文/竞赛等开源方案（有理论/工程支撑）。
2. 多读并且理解代码，看看别人是怎么实现具体功能或者trick。
3. 设备一定要有，不然只能做空想家而不是实业家。
4. 赛后及时总结，多看看大佬的方案，学习思想。
5. 竞赛的过程就是学习的过程。
6. 代码结构要规范整洁，功能明确，最好形成一种范式。

代码

电脑放实验室了，等学校疫情过了整理整理上传GitHub。