论文阅读之迁移学习（一）

摘要

深度学习以其用少量资源处理大量地震数据的优势，为地震速度模型重建提供了一种新方法。神经网络自动对地震数据进行建模（反问题的映射：地震数据->速度模型）。但它不适用于2D和3D真实数据。
本文提出一种迁移学习策略（TL）
网络构想：首先在较小的子问题（１D数据）上训练，其次将训练好的模型作为更大、更复杂数据的初始模型，类似于FWI的层次化多尺度模型。
网络实施：建立逐层复杂的子目标；先训练一个用于估计水平层的速度模型，再训练用于估计2D 倾斜层模型（dipping layered）。
TL策略优点：利于收敛，用更少的2D数据训练
合成数据：2D时间间隔速度模型的结构化相似度：0.893±0.052；均方根误差是（198±91）m/s。
实验结果 2D海洋数据->均方根速度模型（一致叠加）+时间间隔速度模型（叠剖面的显著特征）
TL的研究意义在于加快、并规范训练过程。尽管缺少真实的目标速度模型，但是TL可以通过少量的预处理（直接把经有限数据训练的模型）应用于大型场数据。

引言

地震图像处理的方式有逆时偏移，最小二乘法的逆时偏移，它们都要求精确的速度估计。（为了处理图像需要先获得速度，速度获取的方式主要有两个：）
一是基于物理方法的VMB有偏移速度分析，FWI ，它们计算成本高，而且依赖大量的专家知识。
二是深度学习网络（尤其是CNNs和RNNs）用少量冗余的预处理，准确实现VMB。

DL应用于地震资料的处理和解释。
比如，实现自动解释和特征预测的工作流；初至检测；层位追踪（horizon tracking）；相位标记（phase identification），正常时差矫正（NMO）；偏移；多重滤波器（multiple filering）。
2018年有研究表明，FWI可以由RNN网络进行建模实现。
在VMB中，FWI是工业界的高端实践。有研究结合两者，即DL-FWI，而不是独立开发流程。DL用于加强FWI的效果，通过生成低频地震成分。
VMB仅通过DL实现难以在产业上得到认可。但是，相同功能，在计算时间上，DL VMB超越物理方法。（用时少是DL方法最大的优势）
目前的研究，DL VMB只是小的速度模型——大部分是少量厚层的分层模型，一小部分是有盐体结构覆盖的。
问题：其复杂度对真实地震数据没有代表性，且所用网络（全连接网络，自编码器）不能很好的扩展到大规模数据和场数据。
有研究表明，CNNs和RNNs可以扩展到大规模数据和场数据。但是2D模型缺乏横向连续性（lateral continutity）。主要因为神经网络同时处理CMP，而水平层不一样的速度，反射时差导致误差。相邻的CMP用于矫正该时差（倾角动矫正和偏移）。
有研究表明，考虑多重CMPs的话，DL可用倾斜层及结构合成数据，即Marmousi2，SEAM和overthrust模型。

通过大量的数据-模型样本，神经网络能从记录的道中预测出速度模型，在输入与输出间建立连续且非线性的映射。
训练：一次性优化无噪音、数量大、冗余的数据集。
CV里前沿的研究工作是用DL处理现场数据的目标检测和生成假画像等问题。
虽然地震数据相当大，但是客观且准确的速度模型很稀缺。（此为DL VMB依赖合成速度模型的原因）
DL方法中，使用合成数据可提高对噪声的容忍度，并提高地震数据处理的准确度。
总之，作者认为VMB中用合成数据训练的效果已被证实。

一旦训练好，神经网络的预测时间很快（神经网络分为训练＋预测两部分）。
神经网络中的用时，除了合成数据，最费时的就是训练。训练是不保证收敛的非线性最优化问题，尤其是对高度不均匀的速度场。
加快训练的一个突破性方法就是迁移学习（TL）。
神经网络（NN）参数具有的权重是从对简单问题的预训练得到的。迁移学习就是对NN的部分或者全部层进行初始化。相比随机初始化，经过迁移学习调整过的NN更接近参数的最优配置。
TL优点：减少了收敛时间；缩小所需数据集的大小；减少陷入局部最小值的数量。
由于TL可共享在低尺度的相似性（作者举例，边界、笔画、感兴趣的区域和样式），所以TL对图像分析是有用的。（所谓低尺度的相似性，应该就是指宏观信息，而不是细节信息，显然对于放之四海而皆准的规则，这部分资源共享是没错的）->看似不相关问题的中间表示或许对统计冗余信息有利（？没看懂作者认为的因果关系）
已有研究中，TL可以实现把邻域的信息尽可能纳入新研究中（高保真 high-fidelity），弥补在合成数据和现场数据之间的差距，以及弥合由合成数据生成的速度模型和基于GAN生成的速度模型之间的差距。虽然迁移学习有很多方法，但是对于具体场景可能需要结合几何、物理关系。

为了准确估计实际的横向（laterally）变化速度模型，NN必须在实际数据集上训练。难点就是这样的真实数据难以获取，以及快速训练一个NN。具体来说，前向模型的计算代价和训练的规模随着维度的增加，成指数比例增长。

本文目的：TL是一个降低用DL处理2D（甚至3D）数据VMB的有效策略。换言之，通过使用简单模型中获得的信息（TL），降低计算成本，提升准确度。具体做法：
首先考虑1D的VMB（有参考文献），
其次沿着CMP道集的轴线，通过扩展卷积层来增强NN，实现对叠前数据CMP的2D信息处理（类似于一个参考文献）
效果：
加快（expedite）训练，提升VMB在模拟（mimic）真实维度－2D合成数据上的准确度，并且在真实海洋数据上评估检测（benchmark）了所提出的算法。

原理

输入：叠前数据（一个张量：往返时间$\times$偏移距$\times$共中心点的位置）
输出：倾斜地层的声波速度模型
two-way “往返”
VMB
在时间域内，区间速度
（待）