今天细细读了一下此论文,这个论文是Charis Lanaras等人完成的一个研究。该研究主要是针对哨兵-2的一个超分辨率。
超分辨率基础
其实一直以来的一个问题就是,我们训练一个超分辨率网络,那么就一定需要一个对应的数据集。对于遥感影像更是如此。但是现实中是没有这样的对应数据来供我们使用的。比如,我们需要从20m分辨率到10m分辨率的超分辨率任务。那我们就需要一组10m的卫星影像,然后通过下采样到20m,从而进行对应的训练。那好了,我们已经有了10m的数据,还训练什么劲?
在这篇论文中,作者介绍了这一点,并提出了他们的思路。他们从图像的自相似度上来解释,认为可以训练一个40m->20m的网络,然后用它来执行20m->10m的超分辨率任务。我也曾经有过这样的想法,和作者是不谋而合。但是我想的一点是,因为学的是高分辨率图像的纹理、分布,那10m的和20m的肯定是不一样的。现在作者给出了这样的解释,我是比较高兴的。
网络结构
该团队的网络结构主要融合了VDSR的学习残差思想。
看到网络接受一个20m的高分辨率波段的输入yA,和一个40m分辨率输入yb。对40m分辨率影像上采样后,得到和yA同等大小影像。学习残差后,与原上采样图像相加,得到高分辨率影像。
输入yA为所有20m分辨率影像的多波段的影像,下采样为40m得到。
输入yB为高分辨率波段。
作为卫星影像的好处,有高分辨率波段来“引导”,可以避免盲超。
Loss
使用了L1损失,这种损失相比L2损失,更能够生成边缘清晰的图像。