要点1
本文提出了一种新的CycleGAN结构有用热成像的超分辨率,并且提出了一个thermal图像的超分辨数据集(含有三种不同分辨率的数据集,是用三个不同的Thermal传感器拍的)。提出的结构生成器是由ResNet6构成,判别器是由PatchGAN构成。
要点2
之前的工作:《Thermal image superresolution through deep convolutional neural network. 》中用到的仅仅是101张分辨率为640x512的Thermal图像(没有不同分辨率的图像),数据量非常少,所以本文才想要构建一个大的超分辨数据集(含有不同分辨率的数据集)
三种不同的Thermal传感器:
这三个传感器的焦距还有所不同:
第三种分辨率的传感器采集到的图片作者通过裁剪裁剪成了640x480大小的分辨率。
要点3
由于相机内参不同,配准后的图像还是会有不同的区域(可以理解为相机拍到的范围不同,有的区域在一个相机里能拍到,但是在另一个相机却拍不到)。
图里出现的红边就是前面说的不同的区域。
要点4
进行PSNR和SSIM评价时,仅仅评价配准后图像中间区域(包括整幅图像的80%的部分)
(PS:这里我的问题就是作者到底用了那种配准方法,是SIFT吗?为啥文章里不提一下……)
要点5
网络的结构如下:
结构比较简单,损失也比较好理解: