论文阅读记录之DD-Net（DD-Net: Dual decoder network with curriculumlearning for full waveform inversion）

标题：具有课程学习功能的用于全波形反演的双解码器网络DD-Net

期刊：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING（IEEE地球科学与遥感汇刊）

0、Abstract—摘要

        深度学习全波形反演（DL-FWI）由于其高预测效率，有效利用空间相关性以及不需要初始估计而获得了广泛的研究兴趣。作为一种数据驱动的方法，它有几个关键问题。例如，需要设计有效的深度网络，需要控制训练过程，需要增强泛化能力。在本文中，我们提出了一个双解码器网络与课程学习（DDNet）来处理这些问题。首先，我们设计了一个具有两个解码器的U-网络，以获取速度模型的速度值和地层边界信息。这些解码器的反馈将在编码器处组合以增强边缘空间信息的编码。其次，我们通过组织三个难度级别的数据，将课程学习引入网络训练。由易到难的训练过程增强了网络的数据拟合。第三，我们通过预网络降维器将网络应用于低分辨率地震观测。这可以作为一种总体设计思想，而不会破坏原有的网络特性。在SEG盐数据集和OpenFWI的四个合成数据集上进行了实验。结果表明，我们的网络是上级优于其他国家的最先进的数据驱动的网络。源代码可在github.com/fansmale/ddnet上获得。

        关键词：全波形反演；神经网络；并行解码器；地震图像

一、INTRODUCTION—介绍

        深度学习全波形反演（DL-FWI）已经显示出优于经典的基于物理的FWI（NS-FWI，也称为物理驱动的FWI）的许多优点。首先，虽然训练阶段非常耗时和消耗资源，但端到端DL-FWI在网络预测阶段非常有效[1]。相比之下，NS-FWI需要巨大的计算成本来求解高维波动方程[2]。其次，DL-FWI不需要任何初始预测模型，这在NS-FWI中起着基础作用[3]。事实上，它通常为NS-FWI提供了进一步优化的初始模型[4]。第三，在传统的FWI中，很少利用地震勘探采样的规律性。然而，深度学习可以通过网络训练来探索这种潜在的关系[5]。

        网络设计是任何深度学习方法的关键问题之一。为了适应地震数据的领域知识，DL-FWI通常使用两种类型的结构。一种类型是嵌入，它通过特征转换将地震波形映射到更高的维度[6]。基于高维空间对齐信息，通过DNN [7]或CNN [8]重建速度模型。在一些策略[9，10]中，该空间对准信息与炮点和地震检波器的位置信息相结合。另一种类型是编码器-解码器，它通过全卷积构造端到端映射[11，12]。一些方法在最终编码中保留空间维度信息[1]。在一些方法中，CRF [13]被添加在解码器的末尾以确保空间关联[14]。

        训练过程控制对与现场数据有关的应用有重大影响。迁移学习[15]在训练DL-FWI网络中很受欢迎。FCNVMB [1]和VelocityGAN [16]都为每个目标数据集准备了合成数据的降级版本，用于预训练。同时，渐进式迁移学习[17]已应用于DLFWI。例如，[18]中的网络可以通过物理模块的迭代逐渐学习真实的频率信息。类似地，分层RNN通过逐渐调整联合损失函数的比例因子来提高目标难度[19，20]。此外，还有一些学习策略专注于避免固定数据集。例如，multiCMP CNN [5]利用随机化技术进行动态学习，以实现无限的数据扩展。

        在本文中，我们提出了一个双解码器网络与课程学习来处理上述三个问题。对于网络设计，我们采用基于U-Net [22]架构的双解码器。第一解码器集中于重构速度值的分布。其架构类似于FCNVMB [1]。第二解码器被用作辅助以加强层边界。边缘解码器已经证明了它们在某些领域作为分支任务的有效性，例如医学中的肿瘤识别[23]。我们的结构利用了多任务学习中的硬参数共享机制[24，25]。主/辅助任务的参数和性能的这种共享确保了原始任务的更好概述[19，20，26]。最后，设置均方误差和交叉熵的联合损失函数来控制输出。

        关于训练过程控制，我们引入课程学习[27]来增强网络稳定性。事实上，课程学习成功地用于图像和自然语言处理[28，29]。作为一种有点相关的方法，地震低频数据的渐进式迁移学习[18]已经证明了数据自适应的潜力。此外，用于1D速度估计的多级分层网络进一步证明了预定义梯度用于数据拟合的能力[19]。这项研究的后续工作进一步扩展到2D [20]。这些结果都表明，梯度难度策略使DL-FWI促进数据拟合。在课程学习中，客观地评估网络输入的难易程度并不是一件容易的事情[30]。通过对FCNVMB [1]中不同炮的研究，我们推导出了基于单炮到多炮的难度度量标准。训练调度器将以不同的难度级别将这些数据安排在不同的批次中。

        为了增强网络设计的适应性，我们设计了一种灵活的预网络降维结构。在野外采集时，时间采样点和检波器的数量可能会有显著差异。这将导致共炮点道集图像的纵横比非常大。虽然传统的方法，如插值，可以处理这个问题[1，31]，在一些低分辨率的地震观测[21]，这可能会导致不可避免的信息丢失。因此，我们通过由多个卷积组成的降维结构来压缩时间维度[14]。它可用作在不同时间采样的采集几何结构的通用设计组件。

        在SEG盐[32]和OpenFWI数据集[21]上进行实验，其中四个指标包括MSE，MAE，UIQ和LPIPS [33，34]。同时，两个DL-FWI网络，FCNVMB [1]和InversionNet [14]，与我们的网络进行了比较。结果表明：1）我们的网络在不同数据集上的表现优于同行; 2）课程学习和DL-FWI的集成提高了网络的学习能力; 3）双解码器有助于重建速度模型中的边缘细节; 4）我们的网络对各种数据具有良好的泛化能力。

        本文的其余部分组织如下。在第二节中，介绍了DL-FWI中的两种主要方法。第三节详细介绍了该方法的网络结构、课程学习和损失函数。在第IV节中，描述了数据集和训练细节。在第五节中，给出了我们的网络在两个数据集上的实验结果。第六节讨论了第五节的实验结果，并对网络的一些特性进行了补充分析。最后，在第七节中，给出了结论。

二、RELATED WORK—相关工作

        在数据驱动的方法中，我们将完全基于学习网络执行反演。这个过程是相当具有挑战性的，因为它减少了对波动方程的先验知识的依赖。复杂深度网络将被设计为拟合FWI非线性映射关系的主要工具。迄今为止采用的DL-FWI方法可以大致分为三类：1）端到端编码器-解码器网络; 2）嵌入特征转换;以及3）学习策略和网络结构的优化。

       完整的端到端结构是对数据驱动解决方案的直观尝试。莫斯利等人。[35]通过模仿语音架构WaveNet [36]，为每个轨迹构建了一个1D反演任务。虽然在这种方法中，从单个轨迹的角度来分析深度网络的构建是唯一的，但轨迹之间的相互影响被忽略了。ModifiedFCN [12]是首次尝试将FCN [11]架构用于FWI。这表明了FCN对地震数据的反演潜力，但网络的泛化能力是有限的。FCNVMB [1]通过生成合成数据来执行迁移学习，从而提高迁移数据分布的泛化能力。然而，它仍然难以准确地成像背景细节和地层边缘。在InversionNet [14]中，提出了一种新的CNN编码器-解码器网络，该网络适用于更多的地层结构，例如弯曲界面和断层。虽然它有效地压缩了空间信息以降低计算成本，但它也牺牲了某些特定的邻域和全局信息[9]。

        通过嵌入特征，可以减轻网络上空间特征的初始解构的负担。GeoDNN [6]重置叠前数据结构以获得用于训练DNN [7]的语义立方体。虽然它简化了数据结构，但它没有充分利用不同炮之间的空间关系。SeisInvNet [9]集成了DNN特征生成和CNN解码，同时编码更多的全局，邻域和观察特征。但是，它缺乏各种用于验证其适用性和通用性的数据模型。基于SeisInvNet，Liu等人。[10]在嵌入过程中补充了共接收器道集的全局和邻域信息。它提高了SeisInvNet的数据泛化能力，但对衍射生成的信息（如断层）的反演效果较差。

       一些网络通过间接训练控制和特定的网络结构来记忆更多的地震数据细节。VelocityGAN [16]使用类似DCGAN [37]的架构来区分生成的速度模型和地面实况之间的差异。它将卷积器视为正则化器，以提高编码器解码器生成器的逆精度[38]。multiCMP CNN [5]生成静态验证数据，同时异