9. Tikhonov Regularisation

9. Tikhonov Regularisation....................................................................................................178

9.1 General ........................................................................................................................178

9.1.1 Advantages of Highly Parameterized Inversion..................................................178

9.1.2 Tikhonov Regularisation .....................................................................................178

9.1.3 Measurement and Regularization Objective Functions ......................................179

9.1.4 Target Measurement Objective Function............................................................180

9.1.5 Solution Mechanism............................................................................................181

9.1.6 Termination Criteria............................................................................................181

9.2 Regularisation and the PEST Control File ..................................................................182

9.2.1 Setting the Mode .................................................................................................182

9.2.2 Observation Groups.............................................................................................182

9.2.3 Regularisation Section.........................................................................................182

9.3 Regularisation Weight Relativity Adjustment ............................................................187

9.3.1 Overview .............................................................................................................187

9.3.2 IREGADJ Settings of 1 and 2 .............................................................................188

9.3.3 IREGADJ Setting of 3.........................................................................................189

9.3.4 IREGADJ Settings of 4 and 5 .............................................................................190

9.4 PEST Run-Time and End-of-Run Information...........................................................193

9.4.1 Run-Time Information ........................................................................................193

9.4.2 Post-Run Information..........................................................................................194

9.5 Group-Specific Target Objective Functions ...............................................................195

9.5.1 General ................................................................................................................195

9.5.2 Implementation....................................................................................................197

9.6 A Final Word ..............................................................................................................197

9.1一般

9.1.1高参数化反演的优点

正如Doherty(2015)广泛讨论的那样，所有环境模型校准都需要一种或另一种形式的正则化。在最广泛的意义上，术语“正则化”描述了通过该方法获得反问题的唯一解，其中校准数据集缺乏支持唯一性的信息。如果PEST在“估计”模式下运行，那么建模者必须进行预校准，手动正则化以实现这一目标。通过在“正则化”模式下运行PEST，可能支持奇异值分解或LSQR作为数值解决设备，正则化在数学上实现。这通常是比手动正则化更好的选择。这种方法的优点包括以下几点。

•如果正确实施，数学上正则化的反演颁布了一个解决方案的反问题，这是最小的误差方差，并支持最小误差方差的模型预测。然后，这些形成了后校准参数和预测不确定度分析的最佳起点。

•反演过程数值稳定。它不会因为缺乏可逆矩阵而成立;用一种保证矩阵可逆性的方式来表述逆问题。

•正则化反转很容易。它不要求用户检查校准结果，然后决定是否应该在某些参数保持固定的情况下重复校准过程。相反，“如果有疑问，估计一下”的哲学可以占上风。

•在二维或三维模型域中，使用许多参数，在适当的正则化方案的支持下，使异质性在校准数据集中包含的信息支持其存在的位置自然出现，同时抑制其在数据不支持的地方出现。这是一种更好的校准空间模型的机制，而不是将空间异质性的表达限制在可能不适当的结构中，例如假设分段恒定的区域，其设计先于校准过程并且与校准过程分开。

•大多数自然系统都是复杂和异构的。使用多个参数可以比简单的参数化更好地表示系统异构性。正是因为参数化细节不太可能是唯一可估计的，所以在探索预测不确定性时必须表示它;对这一努力至关重要的是那些无法估计的参数，而不是那些可以估计的参数。正则化反演容易适应参数的非唯一性。校正后的预测不确定度分析若要具有完整性，就需要探索参数非唯一性的影响。

关于高度参数化反演的优势，请参见Doherty(2015)。

9.1.2 Tikhonov Regularisation

9.1.2吉洪诺夫正则化

正如Doherty(2015)详细解释的那样，适当制定的Tikhonov正则化为部分或所有模型参数提供了一个“退路”。这描述了一个条件，根据专家知识，它们应该满足，除非在校准数据集中有相反的信息。这种退退条件可以表述为某些或所有参数的优选值、均匀性、分段均匀性、参数域的最小曲率、这些条件的组合或其他条件。

除了表达首选参数条件外，Tikhonov正则化还应该显式或隐式地表达偏离该条件的方式。

这可以通过协方差矩阵来实现。或者，它可以通过诸如“锐度过滤器”之类的机制来完成，该机制惩罚异质性的出现，除非它具有尖锐的边缘。另一种可能性是制定线性和非线性的“异质性惩罚函数”，奖励异质性在某些位置和方向的出现，并惩罚异质性在其他位置和方向的出现。简而言之，Tikhonov正则化应该包含一个专家知识的数学公式，允许反演过程在有限的参数化细节之间“连接点”，这些细节可以在校准数据集的基础上进行估计，这样，从Tikhonov正则化反演过程中出现的参数场与专家知识尽可能兼容，同时允许模型复制现场测量。

理想情况下，反转过程中涉及的所有参数都应具有吉洪诺夫正则化特征。这确保了他们都提供了一个后退的位置，并提供了一个最佳的方式离开后退的位置。

9.1.3测量和正则化目标函数

当PEST以“正则化”模式运行时，它定义了两个目标函数而不是一个。

首先是测量目标函数，指定为Φm。这类似于PEST在“估计”模式下运行时使用的传统目标函数，因为它构成了对现场测量值与其模型生成的对应值之间差异的加权最小二乘度量。第二个是正则化目标函数，指定为Φr。这构成了参数与其首选条件之间差异的加权最小二乘度量。

如上所述，首选参数条件可以是简单的，也可以是复杂的。最简单的正则化形式是为每个估计参数分配一个首选值(通常等于其初始值)。使用本手册第二部分中描述的ADDREG1实用程序很容易实现这一点。一系列先验信息方程封装了这种形式的正则化，每个参数对应一个先验信息方程。每个先验信息方程的形式如下:

pi1 1.0 * par1 = 10.0 1.0 regul1

或者(如果参数是对数转换的)

pi11 1.0 * log(par1) = 1.0 1.0规则1

当上述方程中的“par1”参数与10.0不同时，会出现非零残差，正则化目标函数本身变为非零。

先验信息可以用来表示参数值之间的差异，如果参数是对数变换的，则可以表示参数值之间的商。例如

pi2 1.0 * par1 - 1.0 * par2 = 0.0 1.0正则2

或者(如果“par1”和“par2”进行了对数转换)

pi2 1.0 * log(par1) - 1.0 * log(par2) = 0.0 1.0规程2

由于“par1”与“par2”的值不同，这些方程获得非零残差。正则化目标函数是非零的。

Tikhonov约束不必表示为先验信息方程。

它们可以由模型而不是PEST来计算，因此是“观察”。因此它们不需要是线性的。它们甚至不需要由参数之间的简单的等差关系组成;但是，当然，它们必须对参数具有一定的敏感性，因此必须以某种方式具有一个或多个参数。

简而言之，正则化观测值和先验信息方程就像其他观测值和先验信息方程一样。它们有观测值和模型计算值。它们之间的差值构成残差。每个都有一个权重。它们的一组可以被分配一个协方差矩阵。然而，所有这些人的显著特征是，他们必须被分配到一个以“regul”开头的观察组。正则化目标函数只是总目标函数的组成部分，它是对所有观测值和属于名称以“正则”开头的观察组的先验信息方程的总和。相比之下，测量目标函数是总目标函数的组成部分，它是对属于名称不以“正则”开头的观测组的所有观测值和先验信息方程求和。

9.1.4目标测量目标函数

过度拟合很容易，但远不是理想的，在许多参数被估计。正如Doherty(2015)所解释的那样，这可能导致测量/结构噪声的放大，参数值与专家知识不一致，并且严重偏离误差方差最小的反问题的解决方案。

PEST对吉洪诺夫正则化的实现通过要求用户提供所谓的“目标测量目标函数”来避免这个问题，此处表示为Φt m。这是PEST控制文件中“正则化”部分出现的变量PHIMLIM。

然后将正则化反演问题表述为约束最小化问题。

具体来说，PEST的任务是在测量目标函数等于其用户提供的目标的约束下最小化正则化目标函数。如果PEST不能将测量目标函数降低到这个目标值，那么它就尽可能地降低它。

在解决这个约束最小化问题时，PEST的“杠杆”是一个全局乘数，它适用于归因于正则化观察和先验信息方程的所有权重。这个乘法器(在本文和PEST输出文件中也称为“正则化权重因子”)实际上与所谓的拉格朗日乘法器有关，通过拉格朗日乘法器实现约束最小化问题的解。正如下面将要讨论的那样，如果用户要求，PEST能够在不同的正则化组(即名称以“regul”开头但以其他字母结尾的不同观察组)之间改变这个乘数。然而，在应用全局正则化权重乘数之前，会进行正则化组间权重调整——参见下面对IREGADJ变量的讨论。(请注意，这个乘数不仅适用于与正则化观测值和先验信息方程相关的权重，而且适用于用于代替正则化观测值组和先验信息方程权重的任何协方差矩阵的倒数平方根。)在正则化反演过程的每次迭代中，PEST最小化总目标函数定义为

Φ = Φm + µ 2Φr (9.1.1)

其中Φm和Φr定义如上，µ为正则化权重因子。在线性模型行为的假设下，在每次迭代反演过程中，用PEST重新计算其值。它的值是这样的，通过公式9.1.1定义的总目标函数的最小化应该导致Φm等于Φt m。

9.1.5解决原理

从理论上讲，吉洪诺夫正则化的使用不仅揭示了误差方差最小的病态逆问题的解。它还使求解过程具有数值稳定性。它通过在最大程度上尊重专家知识的方向上引导逆问题解决过程来实现第一个目标。它通过使每个参数都成为敏感参数来实现第二个目标-如果不是包含校准数据集的观测值，那么就是封装专家知识的正则化观测值。

然而，不幸的是，单独使用Tikhonov正则化并不总是保证无条件的数值稳定性。如果目标测量目标函数设置得非常低，那么PEST可能别无选择，只能为正则化权重因子计算一个低值，以尊重用户想要很好地拟合数据的愿望。对于对校准数据敏感的参数，这不是问题。对于那些不是，补充专家知识的稳定效果失去了全局正则化权重因子的减少。PEST必须反转的矩阵可能会变成奇异矩阵。反转过程可能会停滞。

通过在不同正则化组之间相对自动调整权重因子，可以在一定程度上规避这一问题。这可以通过在PEST控制文件的“正则化”部分使用IREGADJ变量来实现。然而，在许多情况下，仅靠这一点并不能保证反演过程的无条件数值稳定性。

幸运的是，对于tikhonov正则化反问题的数值解，如果采用奇异值分解或LSQR，可以很容易地保证数值稳定性。如果使用奇异值分解，将MAXSING变量设置为可调参数的数量(或更高)，并将eighthresh设置为5E-7。因此，只有当数值稳定性受到威胁时，才会进行奇异值截断;同时，Tikhonov正则化还考虑了参数敏感性。如果必须估计超过两三千个参数，那么使用LSQR代替奇异值分解作为反问题的求解机制，因为它的速度不会随着参数数量的增加而下降，这与奇异值分解不同。

9.1.6终止标准

当以“正则化”模式运行时，如果满足以下条件，PEST将停止执行。

1. NOPTMAX迭代已经过。

2. 测量目标函数低于用户提供的目标测量目标函数，REGCONTINUE正则化变量缺失或设置为“nocontinue”。

3. 无论REGCONTINUE变量的设置如何，测量目标函数都低于PEST控制文件“控制数据”部分中提供的可选PHISTOPTHRESH变量的值。

4. 通过参考PEST控制文件的“控制数据”部分中提供的RELPARSTP和NRELPAR变量来评估，迭代之间的参数更改是最小的。

5. 测量目标函数大于PHIMLIM，但通过参考PEST控制文件“控制数据”部分提供的PHIREDSTP、NPHISTP和nphinor变量来评估，其下降速度非常缓慢。

6. 测量目标函数低于PHIMLIM, REGCONTINUE已设置为“继续”，并且通过参考PEST控制文件“控制数据”部分提供的PHIREDSTP, NPHISTP和nphinor变量评估，正则化目标函数下降非常缓慢。

在实践中，用户最好自己终止PEST执行，特别是在新模型的早期校准尝试中，目标测量目标函数可能设置得非常低，以试图找出与校准数据集PEST的拟合程度。