文献阅读 Meta transfer learning-based super-resolution infrared imaging

题目

Meta transfer learning-based super-resolution infrared imaging
基于元迁移学习的超分辨率红外成像

摘要

我们提出了一种具有元迁移学习和轻量级网络的红外图像超分辨率方法。我们设计了一个轻量级网络来学习低分辨率和高分辨率红外图像之间的映射。我们使用外部数据集训练网络，并使用内部数据集进行元迁移学习，使网络下降到一个敏感且可迁移的点。我们用红外模块构建了一个红外成像系统。设计的网络在个人计算机上实现，SR图像由经过训练的网络重建。本文的主要贡献采用轻量级网络和元迁移学习方法，获得了视觉效果更好的红外超分辨率图像。数值和实验结果均表明，所提出的方法实现了红外图像超分辨率。

引言

红外成像作为一种长波长光学成像技术，在热分析、视频监控、医学诊断、遥感等领域有着广泛的工程应用。然而，与可见光图像相比，红外图像通常模糊且分辨率较低。造成这些问题的主要原因是环境干扰和传感器尺寸有限。因此，提高红外图像的分辨率和质量对于红外成像技术的实际应用至关重要。
现有的大多数基于学习的超分辨率方法往往需要高清红外图像作为监督。但在实验环境中很难得到高分辨率的红外图像。此外，基于学习的方法往往会在未知数据集中引入冗余特征并丢失热特征。为了解决红外图像低分辨率和热信息丢失问题，我们提出了一种基于轻量级元迁移学习的红外图像超分辨率方法。
主要创新点总结如下：

1. 本文为红外图像超分辨率提出了一种轻量级网络，其可以通过跳跃连接和深度卷积来提高提取特征的准确率；
2. 本文采用了元学习、一次学习来提高超分辨率图像的质量；
3. 本方法可以输出视觉效果极佳的超分辨率红外图像，可用于移动红外设备。

方法

如图所示为红外成像系统的示意图。成像系统由红外镜头（IL）、红外传感器（IS）、物体、数模转换电路（ADCC）和个人电脑（PC）组成。
从物体辐射的红外先被IL会聚到IS；ADCC将接收到的红外线转换成红外图像；PC运行SR算法，输出SR红外图像。

网络结构如上图所示。该网络包含了32个具有相同组件的块，每个块包含一个$1\times 1$卷积，$3\times 3$深度卷积、$1\times 1$卷积、ReLU和add函数。
跳跃连接用来解决网络退化问题，DWC用来减少参数数量。关于DWC的更多信息。

网络的预训练：首先利用公开数据集训练初始网络参数，网络学习外部信息，得到训练好的参数${\theta }_t$。然后利用实验红外成像设备获得的实验数据集，进行元迁移学习来学习内部信息，最后元测试通过LR输出SR。
元迁移学习：在元迁移过程中，公开数据集中的 HR 图像通过双三次函数降采样为 LR 图像。之后，使用 LR-HR 图像对网络进行预训练。通过这一步，可以获得LR-HR图像之间的映射。此外，还生成了内部信息和预训练的网络参数。在这里，内部信息可以使神经网络在元测试阶段更容易收敛。然后，采用元迁移学习的方法，通过预训练的网络参数得到实际的网络参数。请注意，“Own dataset”应用于元迁移学习方法。双三次和高斯模糊核用于生成元迁移学习所需的不同任务。
元测试：试过程包含两个步骤。步骤 1：LWN 用输入的红外图像训练一次。在这个过程中，首先对输入图像$I$进行下采样生成LR图像Ison，得到LR-HR对($I_{son},I$)。请注意，下采样因子与 SR 比例因子相同。然后通过 LR-HR 对对网络进行训练，并生成 SR 图像 $I_{son}^{SR}$。在训练过程中，损失由输入图像I和SR图像$I_{son}^{SR}$用L1损失函数计算。参数由损失更新。这个过程运行 10 个循环。步骤2：将LR IR图像$I$输入训练好的网络，可以重构出SR图像$I_{SR}$。请注意，步骤1和2中输入的LR IR图像$I$是由同一红外成像设备捕获的，但图像中的目标不同。通过步骤1和2，得到SR红外图像$I_{SR}$。

实验结果