读论文：使用生成对抗网络缩小随时间演化的大气场的随机超分辨率

标题: Stochastic Super-Resolution for Downscaling Time-Evolving Atmospheric Fields With a Generative Adversarial Network
作者: Jussi Leinonen , Daniele Nerini , and Alexis Berne
原文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9246532

---

Abstract

GAN所实现的超分辨率SR任务和大气科学中的降尺度很像。而条件GAN(cGAN)则为给定输入生成解决方法集合的能力使其自然地适合随机降尺度，但在超分辨率应用中通常不考虑GAN的随机性。本文引入了一个训练的、随机的SR-GAN，它可以为由同一场的低分辨率图像序列组成的输入生成随时间变化的高分辨率大气场集合。并且使用了相关数据集来测试GAN，通过实验验证了其性能优越。

关键词——Atmosphere, clouds, image processing, meteorological radar, neural networks, remote sensing.

---

Introduction

通常的气候模型都是具有数十/百公里的分辨率，而降水数据一般在1公里或者更小的空间尺度上急剧变化。因此，降尺度通过产生更高分辨率的降水场来弥补这一差距。

而传统降尺度问题中的不确定性往往都不那么重要，也就没有人特别关注这一问题。而在气候领域的降尺度任务中，这一不确定性则变得十分重要，而且早期的工作大多都忽视了这一点。此外，也很少有人研究与大气场的时间演化一致的方法对生成的高分辨率图像进行建模（类似于视频超分辨率）。

本文则是减少了一种随机超分辨率GAN，它可以为给定输入生成一组合理的高分辨率输出。该架构还包括了RNN结构，它可以让生成的输出以一致的方式及时演化。然后再两个大气遥感数据集的气象时间序列上进行实验。

---

贡献

---

综述

方法

• cGAN：比如普通的GAN，cGAN的生成器G和判别器D都有了 附加条件。而在SR任务中，这个条件就是低分辨率图像，训练D区分GT的高分辨率图像和D生成的高分辨率图像；

网络架构

本文所使用的G和D都是深度cnn，广泛使用了残差块。它可以通过两个激活和卷积层处理它们的输入，最后在处理结束时将输入添加到输出中。再用一个不活跃的残差块（卷积层中权重接近于0的块）来当恒等映射。因此，网络中剩余块的数量是灵活的，而本文中的数量是由迭代设计过程决定的，而且有点多了（只会增加计算成本而不会影响性能)。

本文还采用了卷积门控循环单元convGRU形式的循环层，即门控循环单元GRU的变体。它使得网络能够学习场的时间演变，而卷积核残差块学习空间结构。并且convGRU用二维卷积代替了标准GRU中学习到的仿射变换。并且它从一个时间步到下一个时间步学习适当的更新规则，使G能够模拟场随时间的演变，并允许D评估图像序列而不是单个图像的合理性。（这方面的知识已经被用于模拟降水场的时间演变）

模型架构如下图所示：

生成器G从一个低分辨率场的时间序列（条件变量）开始，给出一个维数为$N_t\times h\times w\times N_v$的四维张量，其中Nt为时间步数，h和w分别为图像的像素高和宽，Nv为变量数。假定时间步长间隔为恒定，并且假设一个像素的大小总是对应于一个恒定的，定义良好的物理大小。

生成器G通过以下步骤对时间序列进行处理：

1. 编码：
   a) 使用卷积层将低分辨率输入张量映射到更多的通道，并在每个时间步使用不同的噪声实例与噪声输入连接。这些数据通过一系列的三个残差块进行处理从而将其编码为深度表示；
   b) 使用与上述步骤类似的一系列层，但具有独立的权值，并且针对第一个时间步，推导出循环层的初始状态；

2. 递归：用ConvGRU层对场的深度表示的时间演化进行建模。这一层的输入是1a的输出，而初始状态则是由1b导出的；

3. 解码/上采样：ConvGRU层的结果通过一系列交替的残差块和上采样层进行处理（每次上采样操作都将空间维度增加两倍，在隐藏表示上使用双线性插值）。而剩余块将信息处理到较低的表示层次。

本文使用了四个上采样块，从而使分辨率提高了16倍。可以使用不同数量的上采样块来获得K=2N的不同因子，其中N为正整数，但这需要重新训练GAN，需要增加训练的计算时间，所以本文专注于K=16

4. 输出：最后一个隐藏层的输出使用最后一个卷积映射到维度为$N_t\times Kh\times kw\times N_v$。而sigmoid激活将最终输出限制在0到1之间。

在G中使用了L2权值正则化。所有非循环层对每个时间步使用共享权值。

这允许G以任意数量的时间步长运行。G大约有1360w个可训练的权重。

D从一对高分辨率和低分辨率序列开始。其任务是确定这些是否来自训练数据集的一对。通过下面的处理步骤用于实现这一点：

1. 编码/下采样：
   a) 高分辨率使用一系列的三个残差块进行处理，这些残差块使用跨行卷积对输入进行下采样并将其编码为深度表示。并且每个时间步都是用相同的权值；
   b) 低分辨率输入的处理与上相同，除了卷积没有跨行，因此，不执行下采样。所以其输出具有与上述步骤相同的尺寸；
2. 组合：将上面两个步骤的输出连接起来；
3. 进一步编码：通过两个残差块处理步骤2的联合输出，进行额外编码；
4. 递归：使用ConvGRU层评估场的时间一致性，并且这里只需要将状态初始化为0即可；
5. 全局平均池化：取每个特征图的平均值，池化不同位置的激活；
6. 高分辨率处理：我们也通过步骤3-5使用独立权重分别处理步骤1a的输出。该分支的动机将高分辨率图像的质量与低/高分辨率对的一致性分开评估；
7. 输出：步骤5和6的结果被连接起来；结果通过一个更完全连接的层进行处理，然后映射到$N_t$标量值。

用谱归一化来约束鉴别器。其中的可训练权值数量约为1510w个。

除了G中的更新和初始化网络使用ReLU以外，G和D中都是用斜率为-0.2的LeakyReLU激活。之所以使用ReLU对于提高G在长时间序列上的稳定性是有用的。而在G的上采样部分使用LeakyReLU则能够比ReLU更省事。

本文采用RMSE、MS-SSIM、LSD、CRPS来作为模型的评价指标。

• 多尺度结构相似性MS-SSIM：通过考虑图像的多个尺度（即不同的分辨率层次）来提供更全面的相似性度量。它通过在不同尺度上计算图像的亮度、对比度和结构相似性，然后将这些度量合并成一个总体的相似性分数
• 对数光谱距离LSD：功率谱差异
• 连续排名概率得分CRPS：集合成员的一个数值和观测值的数值的平方差的积分。

---

数据

• MCH-RZC数据集：瑞士气象雷达综合数据，包含了18w个图像序列，每个图像序列由8张128*128的图像组成，而每个像素对应1公里的物理尺寸。序列中后续图像之间的时间间隔为10分钟。而像素值对应着降水率（单位面积的降水量）；
• GOES-16数据集：是一种卫星观测到的云光学厚度，也是每10分钟提供一次数据。空间分辨率为每像素2公里；
• 低分辨率图：从高边分率图获得，就是取图像中每个不重叠的$16\times 16$像素图块的平均值；

---

实验结果

生成序列展示

来自 MCH-RZC 测试数据集的重建图像序列的示例。 (a)–© 第一行是真实高分辨率图像，第二行是下采样版本，最后三行是 GAN 创建的三个重建示例。
在a例子中，显示了一个区域在图像的不同部分具有不同的降雨结构，顶部中心的结构相对均匀，而底部的结构空间变化很大。这个示例演示了粒度差异如何随着时间的推移保持一致:对于所有时间步骤，#1和#2在空间上比#3更具变数；
在b例子中，图像中的降水在非常短的尺度上被组织起来。生成的细胞的结构和方向在不同的重建过程中有所不同。这三个生成的例子都没有准确地捕捉到原始细胞的方向，这些信息在降采样过程中丢失了；
在c例子中，最后一个示例显示了另一个复杂场景，其在图像的不同部分包含不同的结构。
而且可以看出：GAN可以为给定场景生成不同的解决方案:在所有重建中，整体结构是相同的，但细节却有很大不同。

重构质量

使用RMSE等一系列数值指标来作为评估标准对得到的结果进行评价。

这些指标的性能不佳是因为它们没有很好地捕捉超分辨率重建的所需质量。特别是 RMSE，在可能的解决方案的平均值下被最小化，因此在评估 GAN 的性能方面用途有限。
MS-SSIM也有类似的情况，因为GAN所生成的集合其中只有一小部分可以愚期与原始方法匹配。
而LSD确实捕捉到了一些结构，但是它会丢失有关信号位置的信息。
而CRPS看起来很有希望用于评估cGAN，因为它改进的时间比其他指标要长。

不同方法的测试

Lanczos插值：传统、广泛使用的图像缩放方法；
RCNN：与GAN相同的架构，不过没有噪声输入；
RainFARM是一种专门针对降雨量开发的降尺度方法，使用基于幂律谱缩放生成的高斯随机场的更传统的统计技术。

上述方法对于 RMSE 和 MS-SSIM 指标给出了类似的结果，其中进一步表明，这些并不是评估 GAN 性能的特别好的指标，因为它们会惩罚具有较高方差的解决方案。 RCNN 实现了最佳 RMSE 指标，这并不奇怪，因为它经过专门训练来优化该指标，并且它还提供了最佳 MS-SSIM 分数。使用 LSD，GAN 取得了迄今为止最好的分数，而产生详细纹理的 RainFARM 的表现优于产生不切实际的平滑输出的 Lanczos 和 RCNN。在集成指标中，GAN 明显优于 RainFARM，但这些分数无法用确定性方法进行评估。

可以看出来，GAN比其他方法产生更多的细节和更精确的原始图像重构。而RainFARM算法可以产生更多的小尺度细节，但它仅限于在图像中产生相同的纹理。但是GAN就很少产生不可信的伪像。

---

总结

本文通过cGAN来实现了天气和气候领域的SR任务，并有效量化了其不确定性。

本文的生成器架构使用循环层以与先前状态和新接收的数据一致的方式更新高分辨率重构的状态。而且他是完全卷积的，就可以对可变大小的输入进行操作，并为任意长的序列产生一致的时间演化。

本文通过两种不同的应用场景证明了其有效性。

---

未来展望

1. 做个消融实验；
2. 采用不同的缩放因子；
3. 尝试时间维度的分辨率增强；
4. 外推时间序列以允许对未来进行短期预测；
5. 添加辅助变量来加强性能；
6. 进一步开发新的评估方法；