论文阅读记录之DD-Net（DD-Net: Dual decoder network with curriculumlearning for full waveform inversion）

摘星星的屋顶

已于 2024-07-27 15:38:30 修改

阅读量743

点赞数 21

分类专栏：论文文章标签：论文阅读

于 2024-02-04 14:15:12 首次发布

本文链接：https://blog.csdn.net/m0_53096519/article/details/135943833

版权

论文专栏收录该内容

8 篇文章 1 订阅

订阅专栏

标题：具有课程学习功能的用于全波形反演的双解码器网络DD-Net

期刊：IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING（IEEE地球科学与遥感汇刊）

0、Abstract—摘要

深度学习全波形反演（DL-FWI）由于其高预测效率，有效利用空间相关性以及不需要初始估计而获得了广泛的研究兴趣。作为一种数据驱动的方法，它有几个关键问题。例如，需要设计有效的深度网络，需要控制训练过程，需要增强泛化能力。在本文中，我们提出了一个双解码器网络与课程学习（DDNet）来处理这些问题。首先，我们设计了一个具有两个解码器的U-网络，以获取速度模型的速度值和地层边界信息。这些解码器的反馈将在编码器处组合以增强边缘空间信息的编码。其次，我们通过组织三个难度级别的数据，将课程学习引入网络训练。由易到难的训练过程增强了网络的数据拟合。第三，我们通过预网络降维器将网络应用于低分辨率地震观测。这可以作为一种总体设计思想，而不会破坏原有的网络特性。在SEG盐数据集和OpenFWI的四个合成数据集上进行了实验。结果表明，我们的网络是上级优于其他国家的最先进的数据驱动的网络。源代码可在github.com/fansmale/ddnet上获得。

关键词：全波形反演；神经网络；并行解码器；地震图像

一、INTRODUCTION—介绍

深度学习全波形反演（DL-FWI）已经显示出优于经典的基于物理的FWI（NS-FWI，也称为物理驱动的FWI）的许多优点。首先，虽然训练阶段非常耗时和消耗资源，但端到端DL-FWI在网络预测阶段非常有效[1]。相比之下，NS-FWI需要巨大的计算成本来求解高维波动方程[2]。其次，DL-FWI不需要任何初始预测模型，这在NS-FWI中起着基础作用[3]。事实上，它通常为NS-FWI提供了进一步优化的初始模型[4]。第三，在传统的FWI中，很少利用地震勘探采样的规律性。然而，深度学习可以通过网络训练来探索这种潜在的关系[5]。

网络设计是任何深度学习方法的关键问题之一。为了适应地震数据的领域知识，DL-FWI通常使用两种类型的结构。一种类型是嵌入，它通过特征转换将地震波形映射到更高的维度[6]。基于高维空间对齐信息，通过DNN [7]或CNN [8]重建速度模型。在一些策略[9，10]中，该空间对准信息与炮点和地震检波器的位置信息相结合。另一种类型是编码器-解码器，它通过全卷积构造端到端映射[11，12]。一些方法在最终编码中保留空间维度信息[1]。在一些方法中，CRF [13]被添加在解码器的末尾以确保空间关联[14]。

训练过程控制对与现场数据有关的应用有重大影响。迁移学习[15]在训练DL-FWI网络中很受欢迎。FCNVMB [1]和VelocityGAN [16]都为每个目标数据集准备了合成数据的降级版本，用于预训练。同时，渐进式迁移学习[17]已应用于DLFWI。例如，[18]中的网络可以通过物理模块的迭代逐渐学习真实的频率信息。类似地，分层RNN通过逐渐调整联合损失函数的比例因子来提高目标难度[19，20]。此外，还有一些学习策略专注于避免固定数据集。例如，multiCMP CNN [5]利用随机化技术进行动态学习，以实现无限的数据扩展。

在本文中，我们提出了一个双解码器网络与课程学习来处理上述三个问题。对于网络设计，我们采用基于U-Net [22]架构的双解码器。第一解码器集中于重构速度值的分布。其架构类似于FCNVMB [1]。第二解码器被用作辅助以加强层边界。边缘解码器已经证明了它们在某些领域作为分支任务的有效性，例如医学中的肿瘤识别[23]。我们的结构利用了多任务学习中的硬参数共享机制[24，25]。主/辅助任务的参数和性能的这种共享确保了原始任务的更好概述[19，20，26]。最后，设置均方误差和交叉熵的联合损失函数来控制输出。

关于训练过程控制，我们引入课程学习[27]来增强网络稳定性。事实上，课程学习成功地用于图像和自然语言处理[28，29]。作为一种有点相关的方法，地震低频数据的渐进式迁移学习[18]已经证明了数据自适应的潜力。此外，用于1D速度估计的多级分层网络进一步证明了预定义梯度用于数据拟合的能力[19]。这项研究的后续工作进一步扩展到2D [20]。这些结果都表明，梯度难度策略使DL-FWI促进数据拟合。在课程学习中，客观地评估网络输入的难易程度并不是一件容易的事情[30]。通过对FCNVMB [1]中不同炮的研究，我们推导出了基于单炮到多炮的难度度量标准。训练调度器将以不同的难度级别将这些数据安排在不同的批次中。

为了增强网络设计的适应性，我们设计了一种灵活的预网络降维结构。在野外采集时，时间采样点和检波器的数量可能会有显著差异。这将导致共炮点道集图像的纵横比非常大。虽然传统的方法，如插值，可以处理这个问题[1，31]，在一些低分辨率的地震观测[21]，这可能会导致不可避免的信息丢失。因此，我们通过由多个卷积组成的降维结构来压缩时间维度[14]。它可用作在不同时间采样的采集几何结构的通用设计组件。

在SEG盐[32]和OpenFWI数据集[21]上进行实验，其中四个指标包括MSE，MAE，UIQ和LPIPS [33，34]。同时，两个DL-FWI网络，FCNVMB [1]和InversionNet [14]，与我们的网络进行了比较。结果表明：1）我们的网络在不同数据集上的表现优于同行; 2）课程学习和DL-FWI的集成提高了网络的学习能力; 3）双解码器有助于重建速度模型中的边缘细节; 4）我们的网络对各种数据具有良好的泛化能力。

本文的其余部分组织如下。在第二节中，介绍了DL-FWI中的两种主要方法。第三节详细介绍了该方法的网络结构、课程学习和损失函数。在第IV节中，描述了数据集和训练细节。在第五节中，给出了我们的网络在两个数据集上的实验结果。第六节讨论了第五节的实验结果，并对网络的一些特性进行了补充分析。最后，在第七节中，给出了结论。

二、RELATED WORK—相关工作

在数据驱动的方法中，我们将完全基于学习网络执行反演。这个过程是相当具有挑战性的，因为它减少了对波动方程的先验知识的依赖。复杂深度网络将被设计为拟合FWI非线性映射关系的主要工具。迄今为止采用的DL-FWI方法可以大致分为三类：1）端到端编码器-解码器网络; 2）嵌入特征转换;以及3）学习策略和网络结构的优化。

完整的端到端结构是对数据驱动解决方案的直观尝试。莫斯利等人。[35]通过模仿语音架构WaveNet [36]，为每个轨迹构建了一个1D反演任务。虽然在这种方法中，从单个轨迹的角度来分析深度网络的构建是唯一的，但轨迹之间的相互影响被忽略了。ModifiedFCN [12]是首次尝试将FCN [11]架构用于FWI。这表明了FCN对地震数据的反演潜力，但网络的泛化能力是有限的。FCNVMB [1]通过生成合成数据来执行迁移学习，从而提高迁移数据分布的泛化能力。然而，它仍然难以准确地成像背景细节和地层边缘。在InversionNet [14]中，提出了一种新的CNN编码器-解码器网络，该网络适用于更多的地层结构，例如弯曲界面和断层。虽然它有效地压缩了空间信息以降低计算成本，但它也牺牲了某些特定的邻域和全局信息[9]。

通过嵌入特征，可以减轻网络上空间特征的初始解构的负担。GeoDNN [6]重置叠前数据结构以获得用于训练DNN [7]的语义立方体。虽然它简化了数据结构，但它没有充分利用不同炮之间的空间关系。SeisInvNet [9]集成了DNN特征生成和CNN解码，同时编码更多的全局，邻域和观察特征。但是，它缺乏各种用于验证其适用性和通用性的数据模型。基于SeisInvNet，Liu等人。[10]在嵌入过程中补充了共接收器道集的全局和邻域信息。它提高了SeisInvNet的数据泛化能力，但对衍射生成的信息（如断层）的反演效果较差。

一些网络通过间接训练控制和特定的网络结构来记忆更多的地震数据细节。VelocityGAN [16]使用类似DCGAN [37]的架构来区分生成的速度模型和地面实况之间的差异。它将卷积器视为正则化器，以提高编码器解码器生成器的逆精度[38]。multiCMP CNN [5]生成静态验证数据，同时异步使用随机数据进行训练。这个动态过程极大地扩展了数据分布的广度，从而防止过拟合。Feng等人[31]提出了一种用于高频速度模型的两步交替训练方案。它缓解了多任务网络的参数覆盖问题，并解决了收敛不平衡问题。

三、METHODOLOGY—方法

3.1 DD-Net的架构

图1显示了DD-Net的架构。其基本思想来自流行的U-Net [22]。因此，DD-Net也表现出明显的左右高度对称的编解码器结构。然而，我们使用两个解码器，使整体结构Y形。

Fig1.用于反演的DD-Net的深度网络架构。每个立方体的宽度表示图像中通道的数量。通道数在立方体下方以蓝色标记。黑色数字表示当前网络层的图像大小（例如，400 × 301输入）。图上方的箭头是卷积和池化操作的简化表示。其中，红色箭头表示三个连续的固定操作，即卷积，BN（批量归一化）[39]和ReLU [40]。蓝色立方体代表编码器的信息，橙子代表解码器。红色虚线框指示两部分通道的级联操作。虚线黑色箭头指示输入到解码器的特征的源，在此期间原始解码器维度被扩展。

左侧的编码器组件负责地震数据的压缩过程。进一步将29炮的地震观测记录压缩成1024维的抽象结构化信息。右边的两个解码器使用不同的想法来解释高维抽象信息。第一解码器的目标是常规的速度模型，其关注于速度值的准确拟合。它将是预测的主要解码器。然后，Canny [41]的轮廓提取后的二进制速度模型进一步用作第二解码器的拟合目标。该解码器将用作训练轮廓信息的辅助解码器。

传统的U-Net在进行图像分割时，仍然存在轮廓粗糙和不连续的问题。然而，多解码器为我们提供了一种非常有趣的方法来解决这些缺陷[23]。不同的解码器将U-Net变成一个多任务学习环境。U-Net的一个固有缺点是通过特定任务的专门解码器来解决的。子任务解码器还可以为主任务或后续任务提供参数上下文[19，20，31]。考虑到这一点，我们应用了一个额外的轮廓解码器，以确保分割预测的平滑性。

网络中有两个基本操作，即卷积和反卷积[42]，分别用于编码器和解码器。

(a)在编码器中，重复卷积充分利用了地震波形中的连续信息。BN [39]在卷积后对输入网络的数据子集进行归一化，从而提高收敛性。ReLU激活函数通过删除一些网络节点来保证层到层的非线性[40]。同时，通过多个ReLU的非线性叠加，我们的深度网络可以近似波动方程的映射[43]。

(b)在解码器中，反卷积操作可以将高度压缩的信息扩展为更高分辨率的图像，同时保留尽可能多的信息[42]。跳跃连接用于获得更高分辨率的编码器特征。此外，较浅的卷积层保留了不同炮之间的细粒度差异。因此，作为附加通道的较浅层的特征图[22]可以进一步引导解码器描述重叠检测区域的边界信息。表I列出了神经网络的一些详细参数设置。

表1 DD-Net网络层详细配置

共炮点道集通常与极大的纵横比相关联。对于一些检波器数量较少的低分辨率观测值，直接使用插值进行下采样可能会导致一些信息丢失。因此，我们建立了一个修改版本的DD网络与降维器为1000×70低分辨率的观测。我们根据检波器的数量将其命名为DD-Net 70。

在图2中，DD-Net 70在网络前面扩展了一个预网络降维器。同时，引入非平方卷积来压缩时间维度（图像高度），确保地震数据被约束到与速度模型相同的大小。降维器将使用多个卷积来协调，以防止由一个卷积压缩引起的信息丢失。这种设置类似于InversionNet [14]，但我们将其推广到U-Net结构。实际上，这种体系结构设计思想仍然可以普遍应用于其他低分辨率共炮道集影像。

图二.用于反演的DD-Net 70的深度网络架构。其结构与DD-Net类似（如图1所示）。不同之处在于左侧的预网络降维器。此外，非方卷积用于辅助图下方的降维器。然后，网络的输入和输出大小分别变为1，000 × 70和70 × 70。

3.2 损失函数

为了处理不同的解码器的不同任务，我们提出了一个新的联合损失函数的网络架构。该损失函数由均方误差（MSE）和交叉熵损失函数组成。第一解码器直接输出单通道图像。它使用地面实况速度模型执行一对一像素差异损失计算。第二解码器输出双通道图像。这两个通道相互作用以模拟速度模型的轮廓信息。事实上，相关研究已经证明了交叉熵损失服务于速度重建中的二进制分类子任务的可行性[19，20]。

首先，MSE损失函数是用于描述颜色相似性的常见损失函数，即：

$L_{main}=\frac{1}{mb}\sum_{i=1}^{b}(v_{i}-N_{1}^{(1)}(d_{i}))^{2}$ （1）

其中 $m$ 表示输出速度模型的像素数。 $d_{i}$ 和 $v_{i}$ 分别表示地震数据及其相应的地面真实速度模型。 $b$ 表示每次迭代中同时要训练的数据数量，即批量大小。 $N(\cdot )$ 表示地震数据 $d_{i}$ 到预测速度模型 $\hat{v_{i}}$ 的网络确定的映射。此外， $N_{j}^{(k)}(\cdot )$ 表示第k-th个解码器输出中的预测速度模型的第j-th个声道。因此， $(v_{i}-N_{1}^{(1)}(d_{i}))$ 是由地震数据 $d_{i}$ 预测的速度模型与实际速度模型之间的残差。

第二，交叉熵损失函数提供了与差异损失相反的轮廓拟合思想，即:

$L_{contour}=\frac{i}{mb}\sum_{i=1}^{b}-\log p(s_i|C(v_{i}))-\log p(1-s_{i}|\tilde{C}(v_{i}))$ （2）

其中 $s_{i}$ 是通过对第二解码器的两个通道执行softmax而获得的，即：

$s_{i}=\frac{e^{N_{1}^{(2)}(d_{i})}}{e^{N_{1}^{(2)}(d_{i})}+e^{N_{2}^{(2)}(d_{i})}}$ （3）

$C(v_{i})$ 在等式中(2)是速度模型 $v_{i}$ 的轮廓结构。图3（a）和图3（B）分别示出了 $v_{i}$ 和 $C(v_{i})$ 的结构。 $\tilde{C}(v_{i})$ 是 $C(v_{i})$ 的反转颜色。我们一致地将 $\tilde{C}(v_{i})$ 和 $C(v_{i})$ 表示为二元掩码算子 $M$ 。同时，1-si和si被表示为预测灰度图像 $I$ 。我们使用 $I\cdot M$ 从 $I$ 中提取注意信息。在条件概率方面，我们可以进一步解释方程中的p（·）在等式(2)中作为：

$p(I|M)=\frac{\left \| I\cdot M \right \| _{1}}{m}$ （4）

轮廓越明显， $P(I|M)$ 越大。为了确保此时的损失较小，交叉熵损失引入了负熵。因此，公式(4)经常被替换为：

$-\log p(I|M)=\frac{\left \| -\log (I)\cdot M \right \|_{1}}{m}$ （5）

图三. 速度模型及其等值线的示例。(a)是模拟的速度模型;以及（B）是通过Canny [41]获得的该速度模型的轮廓结构。Canny的双阈值分别设置为10和15。

对于具有大的边缘偏差的样本，交叉熵损失更多地受到惩罚。这确保了拟合损失可以集中在轮廓上，而不是全局计算残差。同时，轮廓在图像中的像素比例很小。这可能导致轮廓图像中像素的不平衡分布。与均方误差相比，交叉熵损失更好地考虑了不同类的差异，更公平地考虑了轮廓和背景信息。这种类似的轮廓损失函数的设计已经在图像分割领域中实践[23]。

最后，我们通过超参数α1和α2将这两个损失函数结合，即，

$L= \alpha _{1}L_{main}+\alpha _{2}L_{contour}$ （6）

这两个参数的比例可以根据不同的情况进行调整。为了预测准确的速度，一些网络可以使用非归一化速度模型进行训练和预测[1]。此时，两个解码器的损耗的数量级差异可能非常大。例如，当SEG盐模型[32]未归一化时， $\frac{\alpha _{2}}{\alpha _{1}}$ 设置为 $10^{6}$ ，但对于归一化的OpenFWI [21]模型，该值通常设置为10或 $10^{2}$ 。

3.3 Curriculum Learning—课程学习

许多网络训练的想法都试图模仿人类的思维过程。课程学习[27]是对人类进步认知的模拟。

1)FWI的课程学习：在传统的机器学习中，呈现给网络的数据集的难度属性往往是随机的。因此，它的复杂性和网络的当前学习状态被忽略。然而，课程学习以阶段性适应的理念改变了这一不足，并在许多领域取得了可观的成果[28，29]。它试图逐渐增加训练数据集的难度，以确保有效的拟合。具体来说，一开始，我们从一个相对简单的数据集开始训练网络。这有助于网络快速收敛，并防止局部最优解被卡住。然后，随着网络达到一定的性能水平，我们逐渐引入更复杂的数据集。

如果仅使用单炮点，则网络获得的地下信息是波覆盖的局部区域。因此，我们利用多个炮点反馈的地震波反射记录来联合预测整个地下区域。然而，在一些深度学习策略中，单次数据也可以用来实现一定的预测效果。这意味着网络可以通过学习构建从局部波形和频率到整个速度模型的记忆映射。虽然从物理角度来看，这种映射并不优雅，但它可以用作网络学习的试点。它引导网络从时域波形到速度模型留下基本的风格印象。这一过程符合课程学习的理念。

2)地震数据的预定义课程学习：网络中课程学习技术的使用必须指定两个组件的详细信息[30]。

难度测量器：难度测量器告诉我们哪些数据是困难的。换句话说，它可以决定不同数据的优先级。
训练调度器：训练调度器告诉我们何时以及需要训练什么难度的数据。同时，它还告诉网络所选数据的训练参数，包括epoch数和学习率。

目前，根据测量器和调度器是定制的还是数据驱动的，课程学习可以细分为预定义课程学习和自动课程学习。由于缺乏描述地震数据难度的先验理论，我们使用预定义的课程学习。在具体的课程设置上，我们采取了三个阶段。

图4. 基于FWI的预定义课程过程。中间的橙色区域演示了我们如何将地震数据处理为三阶段数据。橙子框中不同颜色的箭头代表不同的操作。蓝色和黄色箭头分别表示添加噪声和放大幅度。q表示模拟检测时的震源数，也相当于网络的输入通道数。右侧显示了我们如何将三级数据排列到网络中。由橘色和绿色箭头形成的圆圈表示训练过程中阶段的迭代。此迭代将执行三次。一次迭代将为训练提供多个批次。

(a)具有失真信息的单次激发数据：地震观测记录由 $q$ 个共炮点道集组成。我们在他们中获得了第 $[\frac{q}{2}]-th$ 个记录。首先，对该记录进行噪声放大和振幅放大，得到两个畸变记录。第二，我们复制每个失真记录的 $[\frac{q}{3}]$ 个副本和原始记录的 $q-2[\frac{q}{3}]$ 个副本。最后，我们将这三者连接起来，以获得 $q$ 个观察记录的组合。

(b)单炮数据：取地震观测记录中的第 $[\frac{q}{2}]-th$ 条记录。然后，我们得到这个记录的 $q$ 个副本。这些副本作为一个整体通过连接用作该阶段的数据。

(c)多炮数据：直接使用 $q$ 炮点的地震观测记录作为本阶段的数据。由于网络的输入端口是确定的，所以每一级的课程数据总是携带 $q$ 个通道。

将单炮数据放置在多炮数据之前有两个考虑因素。一方面，单炮数据在多个副本之后被馈送到网络中。输入层中彼此不同的通道越少，网络捕获输入之间差异所需的训练样本就越少。因此，与多炮数据相比，单炮数据具有更快的拟合能力。另一方面，虽然单炮数据检测的地层区域有限，但它可以作为多炮数据训练的风格指南。首先通过不完全信息和短期训练，从波形到速度模型建立一个初始的认知网络。此外，在单次激发数据之前设置失真信息的动机类似于数据增强。网络的鲁棒性通过预训练原始数据的混合噪声版本来确保。

我们的自定义训练调度器为不同阶段设置不同的训练时期。首先，调度程序将数据按顺序集馈送到网络。同时，输入网络的数据将被独立训练。其次，当训练时期的数量达到预定义的上界时，执行新一轮的调度。不同数据集内的数据分布存在显著差异。因此，网络对三级数据也存在明显的适应性差距。出于这个原因，不同的调度信息可以在第四节中的不同数据集的实验设置中使用。

四、 EXPERIMENTAL SETTING—实验环境

首先，我们介绍我们在这项研究中使用的两种类型的数据集。

1)SEG盐及其模拟数据将用于训练DDNet。目的是探索我们的网络的迁移学习能力。
2)OpenFWI数据集将用于训练DD-Net 70。目的是以不同的地下结构探索我们的网络的适应性。

然后，我们将讨论训练和正向传播设置。最后，我们将重点介绍我们采用的四个评估指标中的两个。

4.1 SEG盐数据集

SEG盐数据集主要由盐数据和模拟合成盐数据两部分组成。

1)盐数据：盐数据是来自SEG研究委员会的开源3D数据集[32]。在现有的研究中，从3D模型中提取了140个横截面的2D数据，并进行了相关实验[1，16]。这些横截面数据可以从GitHub 1下载。

盐数据描述了地下约2 km × 3 km的区域，像素大小为201 × 301。波的传播速度从1500 m/s到4482 m/s不等。图图7（a）和7（d）显示了来自该数据集的两个样本。我们将此数据集称为“SEGSalt”。

2)合成数据：考虑到缺乏SEGSalt，我们需要提前用模拟数据预训练我们的网络。在我们的实验中，我们采用FCNVMB [1]使用的合成数据集。图图6（d）和6（a）显示了来自该数据集的两个样本。这个模拟数据集有1700个合成速度模型，其大小与SEGSalt数据相同。这些速度模型中的层数从5层到12层不等。在每个速度模型中都有一个不规则的盐丘。同时，模拟数据的地层速度波动也控制在2000 ~ 4500 m/s。我们将此数据集称为“SEGSimulation”。

4.2 OpenFWI数据集

OpenFWI [21]是一个包含大量合成地震数据的开源数据集2。它包括界面、断层、CO2储层、三维地下结构和其他地层数据类型。在我们的实验中，我们专注于地下界面和断层的识别。因此，我们主要使用四个OpenFWI数据集：FlatVelA，FlatFaultA，CurveVelA和CurveFaultA。图8、10、9和11分别显示了这四个数据集的示例。每个数据集描述了一个0.7 km × 0.7 km的地下区域，像素大小为70×70。波的传播速度大致在1500 m/s和4500 m/s之间。

此外，OpenFWI还提供了对速度模型复杂性的分析。在[21]中引入了用于测量速度模型复杂性的三个度量，即，空间信息[44]，梯度稀疏指数[45]和香农熵[46]。表II显示了我们在这些指标下选择的四个数据集的复杂性的数值结果。我们发现，故障和弯曲的数据比非故障和平坦的数据更难。

表II 对数据集FlatVelA、FlatFaultA、CurveVelA和CurveFaultA的三个度量空间信息、梯度稀疏指数和香农熵的评估结果的比较。加权平均值的权重比为10：10：1。数据集的复杂性从上到下不断增加。

最后，比较这些数据集也是实用的。FlatVelA和CurveVelA数据集反映了具有清晰界面的平坦和弯曲地下地层。FlatFaultA和CurveFaultA数据集反映了由岩层位移引起的地下断层结构。断层地层可以捕获流体烃，因此是非常好的储层[47]。同时，提供准确的断层描述将有助于进行储层表征和布井[48]。

4.3 训练和前向传播设置

表四显示了训练过程中涉及的一些重要参数。在训练SEG salt数据集之前，我们首先训练SEGSimulation以获得预训练的DD-Net网络。然后，我们只需要在SEGSalt上进行少量的训练，就可以获得转换后的DD-Net网络。因此，我们不为SEGSalt设置课程学习。然而，OpenFWI数据集不需要迁移学习，因为它们的数据量很大。

表IV DD-Net和DD-Net 70的训练配置。第五列指示子部分III-C中的三个任务的训练时期比例。

在训练前，需要用数值方法对速度模型进行正演模拟，得到共炮点道集。OpenFWI数据集使用有限差分[49]和吸收边界条件[50]进行模拟。同时采用了二阶时间方向和四阶空间方向的优化方案。然而，对于SEG盐数据集，其空间方向采用六阶优化方案。表III提供了两者之间的更多参数差异。

表III地震正演模拟配置

图5显示了所有数据集的一些正演模拟结果。接收器数目和时间步长可以被认为是共炮点道集的宽度和高度。SEG模拟地震观测数据规模为2000×301。它将在被馈送到网络之前被下采样到400×301。

图五.不同速度模型正演后的地震资料。所选择的地震图像都来自中间源。（a）和（b）的尺寸为2000 × 301。这两个地震记录的震源位于水平距离为1.6km处。（c）至（f）的尺寸为1000 × 70。这四个地震记录的震源位于0.35公里的水平距离处。

为了验证我们的网络在相应数据集上的性能，我们将FCNVMB [1]与DDNet和InversionNet [14]与DD-Net 70进行了比较。它们都具有类似于各自比较算法的卷积参数设置。其中，DD-Net 70的降维策略也借鉴了InversionNet。然而，从架构的角度来看，DD-Net和DD-Net 70都采用了与比较算法不同的双解码器。此外，FCNVMB的跳跃连接策略与DD-Net不同。InversionNet甚至不使用跳过连接。同时，DD-Net 70不会在编码器的末尾将特征映射过度压缩为1×1，类似于InversionNet。这种策略可能会导致速度模型中的细节丢失[9]。

在训练细节中，FCNVMB的参数设置遵循原始论文。它的训练周期是100，学习率是0.001，批量大小是10。InversionNet的参数设置与[21]中提供的参数设置基本相同，即，epoch = 120，学习率= 0.0001。唯一的区别是批量大小从256调整为128。以这种方式，性能得到改善，如将在相应的表格和图中所描绘的。

4.4 评估指标

我们主要使用两个度量来衡量图像的相似性，即，UIQ（通用图像质量指数）[33]和LPIPS（学习的感知图像块相似性）[34]。但是，与此同时，我们仍然会实现两个基于像素差异的基本评估指标：MSE（均方误差）和MAE（平均绝对误差）。它们将被用作确定地下速度值的预测是否准确的基础。

1)UIQ：UIQ通过数值分析全局平均像素、方差和协方差来计算两个图像之间的相关性。与传统的误差求和方法相比，UIQ描述的图像结构信息更符合人的感知。它是由：

$UIQ=\frac{\sigma_{xy}}{\sigma_{x}\sigma_{y}}\cdot \frac{2\bar{x}\bar{y}}{(\bar{x})^{2}+(\bar{y})^{2}}\cdot \frac{2\sigma_{x}\sigma_{y}}{\sigma _{x}^{2}+\sigma _{y}^{2}}$ （7）

其中， $\frac{\sigma_{xy}}{\sigma_{x}\sigma_{y}}$ 测量目标和预测速度模型之间的线性相关程度。它的值在[-1，1]之间变化。 $\frac{2\bar{x}\bar{y}}{(\bar{x})^{2}+(\bar{y})^{2}}$ 表示测量预测图像在平均像素亮度方面与目标图像的接近程度。 $\frac{2\sigma_{x}\sigma_{y}}{\sigma _{x}^{2}+\sigma _{y}^{2}}$ 表示测量图像之间的对比度的相似性。最后两个分量的取值范围为[0，1]。三者的交互作用决定了UIQ越高，相似度越高。SSIM（结构相似性）[51]度量是基于UIQ的改进而获得的。具体地，SSIM复用这三个分量，并向每个分量添加正常数，以提高具有小像素值的区域中的评估可信度。此外，添加可变的正常数作为每个分量的指数，即，

$SSIM=[l(\mathbf{x,y})]^{\alpha }[c(\mathbf{x,y})]^{\beta }[s(\mathbf{x,y})]^{\gamma }$ （7）

其中， $l(\mathbf{x,y}),c(\mathbf{x,y}),s(\mathbf{x,y})$ ）的解释为：

$\begin{cases} & l(\mathbf {x,y})=\frac{2\mu _{x}\mu _{y}+C_{1}}{\mu _{x}^{2}+\mu _{y}^{2}+C_{1}} \\ & c(\mathbf {x,y})=\frac{2\sigma _{x}\sigma _{y}+C_{2}}{\sigma _{x}^{2}+\sigma _{y}^{2}+C_{2}} \\ & s(\mathbf {x,y}) =\frac{\sigma _{xy}+C_{3}}{\sigma _{x}\sigma _{y}+C_{3}} \end{cases}$ （9）

2)LPIPS：然而，数学定义的措施在许多情况下是令人满意的。这些方法在一些平滑图像中也存在缺陷。因此，将基于网络特征的感知损失方法应用于图像距离计算，即，LPIPS[34]。LPIPS用于使用学习网络作为人类感知的代理。它通过卷积来确定两幅图像中每个对应块的结构距离。

具体地说，这两幅图像被送入具有相同结构的学习网络。然后，这两个网络中每个第i层的特征图之间的距离由下式给出：

五.CONCLUSION—结论

在这项研究中，提出了一种新的方法，采用双解码器架构的基础上课程学习。双解码器允许网络在重建速度分布时考虑边缘结构，从而提高反演的精度。课程学习策略引导网络以渐进的方式学习地震数据，防止过拟合并促进泛化。预网络降维使网络结构能够适应某些低分辨率地震观测数据。我们的网络在SEG和OpenFWI数据集上表现出上级性能，消融分析进一步证实了我们提出的技术的有效性。展望未来，我们计划探索以下改进领域：

1)地震输入数据的特征嵌入：我们的目标是研究嵌入特征的集成，以捕获网络可能难以利用的信息。以前的研究已经显示了特征嵌入的潜力[9，10]，但需要进一步探索将其与复杂的网络架构相结合。
2)丰富课程学习策略：我们打算纳入更多的先验知识[52]，以设计更全面的课程任务。此外，我们的目标是开发自动化的难度测量器和培训由这种先验知识驱动的计算器。
3)推进物理先验知识和网络架构的集成：物理引导的DL-FWI有可能纠正网络中不合理或不切实际的反演结果[3]。虽然这一领域已经获得了重大的研究兴趣[52，53]，但由于其复杂性，它仍然具有挑战性。因此，我们计划将我们的网络架构进一步整合到这个充满挑战和前景的领域。

摘星星的屋顶

关注

21
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
论文阅读记录之DD-Net（DD-Net: Dual decoder network with curriculumlearning for full waveform inversion）

论文学习：DD-Net: Dual decoder network with curriculumlearning for full waveform inversion。
复制链接

扫一扫

专栏目录