线性高斯反问题的解--最大似然法

0 一组测量的均值

假设，在一个实验中对一模型参数$m_1$在有噪声的情况下测量了N次，每次都采集到一个独立数据$d_i$。那么，如果随机变量是高斯型的，那么它们的联合概率密度函数能够以方差${\sigma }^2$和均值$\mu$的形式来描述，即
$$p(\mathbf{d})={\sigma }^{-N}(2\pi {)}^{-N/2}\exp \left[-\frac{1}{2}{\sigma }^{-2}\sum _{i=1}^N{\left[d_i-\mu \right]}^2\right]$$
数据$d^{obs}$可以用N维空间中的一个点来表示，这个空间的坐标轴维$d_1,d_2,...,d_N$（如下图）。

同样地，数据的概率密度函数也可以通过在这一空间中表示出来（如下图）。

由于假设所有数据具有相同的均值和方差，概率密度函数是球对称的，且直线$d_1=d_2=...=d_N$穿过该“球形云”。

那么，假设我们先给出一组猜测的均值和方差，从而固定了概率密度函数的中心和半径。之后，我们利用上述的公式可以计算数据的概率密度函数值$p(d^{obs})$。如果猜测的均值和方差的值接近正确值，那么$p(d^{obs})$应该是一个相对较大的值。

我们可以想象，沿着直线滑动上图中的概率云，并调节它的直径，直至它在数据点$d^{obs}$处的概率被最大化。这一步骤形象的描述了最大似然法，它估计了分布的未知参数。该方法断言，参数的最佳值最大化了观测数据在实际中能够被观测到的概率。换句话说，概率密度函数在点$d^{obs}$的值要尽可能的大。可通过对$p(d^{obs})$求导得到，即
$$\frac{\partial p}{\partial \mu }=0$$
$$\frac{\partial p}{\partial \sigma }=0$$

为了方便计算，一般使用$\log (p)$来计算，因为它是$p$的单调函数，最大化$\log p(d^{obs})$与最大化$p(d^{obs})$结果是相同的。因此，我们计算似然函数$L=\log p(d^{obs})$的导数（如下图）。

忽略系数$(2\pi {)}^{-N/2}$，我们有
$$\begin{array}{rl}L& =\log \left(p\left({\mathbf{d}}^{\text{obs }}\right)\right)=-N\log (\sigma )-\frac{1}{2}{\sigma }^{-2}\sum _{i=1}^N{\left(d_i^{\text{obs }}-m_1\right)}^2\\ \frac{\partial L}{\partial m_1}& =0=\frac{1}{2}{\sigma }^{-2}2m_1\sum _{i=1}^N\left(d_i^{\text{obs }}-m_1\right)\\ \frac{\partial L}{\partial \sigma }& =0=-\frac{N}{\sigma }+{\sigma }^{-3}\sum _{i=1}^N{\left(d_i^{\text{obs }}-m_1\right)}^2\end{array}$$
求解方程，可获得均值和方差的估计值（所要的解）
$${\mu }^{\mathrm{e}\mathrm{s}\mathrm{t}}=\frac{1}{N}\sum _{i=1}^N{d}_i^{\mathrm{o}\mathrm{b}\mathrm{s}}$$
$${\sigma }^{\mathrm{e}\mathrm{s}\mathrm{t}}={\left[\frac{1}{N}\sum _{i=1}^N{\left(d_i^{\mathrm{o}\mathrm{b}\mathrm{s}}-{\mu }^{\mathrm{e}\mathrm{s}\mathrm{t}}\right)}^2\right]}^{1/2}$$
上述两式中$\mu$的估计就是采样均值的一般公式，对$\sigma$的估计是均方根误差。我们注意到，这些估计是数据拥有高斯分布这个假设的直接产物。

1 应用于反问题中的最大似然性

1.1 最简单情况

在反问题$\mathbf{G}\mathbf{m}=\mathbf{d}$，其中$\mathbf{d}$为一系列的观测数据，那么按照概率来看，$p(\mathbf{d})$是一个多变量高斯概率密度函数
$$P\left(d_i\right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left[-\frac{{\left(d_i-d\right)}^2}{2{\sigma }^2}\right]$$
其中$d_i$为测量数据，也是概率密度的平均值，$\sigma$为相应的标准差。

由于n个互不相关的数据的联合概率分布等于n个独立的高斯分布概率密度的乘积，则数据向量$\mathbf{d}$的联合概率分布为：
$$\begin{array}{rl}P(\mathbf{d})& =\prod _{i=1}^n(2\pi {)}^{-1/2}{\sigma }^{-1}\exp \left[-\frac{(d_i-d{)}^2}{2{\sigma }^2}\right]\\ & =(2\pi {)}^{-n/2}{\sigma }^{-n}\exp \left[-\frac{1}{2{\sigma }^2}\sum _{i=1}^n{\left(d_i-d\right)}^2\right]\end{array}$$
可简化为：
$$p(\mathbf{d})\propto \exp \left[-\frac{1}{2}(\mathbf{d}-\mathbf{G}\mathbf{m}{)}^{\mathrm{T}}(\mathbf{d}-\mathbf{G}\mathbf{m})\right]$$
若数据之间具有相关性，则
$$p(\mathbf{d})\propto \exp \left[-\frac{1}{2}(\mathbf{d}-\mathbf{G}\mathbf{m}{)}^{\mathrm{T}}[\mathrm{cov}\mathbf{d}{]}^{-1}(\mathbf{d}-\mathbf{G}\mathbf{m})\right]$$

应用于地球物理的反问题中，数据的多次观测可以得到数据的平均值（$d^{obs}$）和方差($\sigma$)，而模型参数（$m$）未知。模型参数的最佳值有最大化$p({\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}})$决定，相对于最小化$\log p({\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}})$，可简化为下式的最小化问题：
$${\left({\mathbf{d}}^{\text{obs }}-\mathbf{G}\mathbf{m}\right)}^{\mathrm{T}}[\mathrm{cov}\mathbf{d}{]}^{-1}\left({\mathbf{d}}^{\text{obs }}-\mathbf{G}\mathbf{m}\right)$$
从上式可以看出模型参数的最大似然估计相当于加权最小二乘解，其中权矩阵式数据协方差矩阵的逆。

其中权矩阵可记为：
$${\mathbf{W}}_e=[\mathrm{cov}\mathbf{d}{]}^{-1}$$
如果，数据是不相关的，且数据集中各数据恰好具用相同的方差（赶巧了！！），那么$[cov\mathbf{d}]={{\sigma }_d}^2\mathbf{I}$，那么最大似然解对应简单的最小二乘解。
如果，数据不相关，但具有不同的方差，那么可以利用方差归一化预测误差（见附录2）：
$$E=\sum _{i=1}^N{\sigma }_{di}^{-2}{e}_i^2$$
其最大似然解对应加权最小二乘解。

1.2 先验分布

当线性问题欠定时，最小二乘解不存在。以概率论的观点看待这个问题就是，这时数据的概率密度函数$p({\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}})$并不拥有关于模型参数变化的明确极大值。即便是最好的情况，它也仅拥有一个概率最大的脊状结构（如下图所示）。

上图A，有明显的尖峰，可以通过最小二乘法求解。图B对应欠定问题，仅存在概率最大的脊状结构。

为了求解欠定问题，我们必须增加先验信息以使分布拥有明确的尖峰。为了这一目标，首先将关于模型参数的先验信息写为概率密度函数$p_A(\mathbf{m})$,其中下标$A$代表先验的。那么这个概率密度函数的均值使模型向量的期望值。

模型参数的先验分布可以取各种形式。例如，如果我们希望模型参数接近$<\mathbf{m}>$，可以使用具有均值$<\mathbf{m}>$和方差的高斯分布，如下图。

上图用概率密度函数$p(m_1,m_2)$代表模型参数$m_1$和$m_2$的先验信息。概率密度函数的宽度反映了模型参数的确定度：图A较为确定；图B相对不确定。

如果一个模型参数的先验信息比其他参数值更加确定，那么我们可以对不同模型参数使用不同的方差，如下图

上图中可以看到，模型参数在$<\mathbf{m}>$附近，对$m_1$的不确定度要小于$m_2$的不确定度。
一般高斯情况是：
$$p_{\mathrm{A}}(\mathbf{m})\propto \exp \left[-\frac{1}{2}(\mathbf{m}-⟨\mathbf{m}⟩{)}^{\mathrm{T}}[\mathrm{cov}\mathbf{m}{]}_{\mathrm{A}}^{-1}(\mathbf{m}-⟨\mathbf{m}⟩)\right]$$

等式约束可以用一个含有脊状结构的分布来实现，如下图所示

图A表示$m_1$和$m_2$的值未知，但认为$m_1$和$m_2$是相关的；图B使用特定方差的高斯概率密度函数对图A的近似。可以看到，这个分布是非高斯型的，然而如果模型参数的期望区间较小，这个分布可以用一个具有非零方差的高斯分布来近似。
对于不等式约束，也可以用一个先验分布来代表，但它本质上是非高斯型的

上图中，模型参数$m_1$和$m_2$的值未知，但认为有$m_1\le m_2$这样的关系。

同理，也可以使用一个先验概率密度函数$p_A(\mathbf{d})$来描述关于测量的信息。它恰当地描述了观测，因此它的均值为${\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}}$，且它的方差是数据的先验协方差$[cov\mathbf{d}]$:
$$p_{\mathrm{A}}(\mathbf{d})\propto \exp \left[-\frac{1}{2}{\left(\mathbf{d}-{\mathbf{d}}^{\mathrm{o}\mathrm{b}\mathrm{s}}\right)}^{\mathrm{T}}[\mathrm{cov}\mathbf{d}{]}^{-1}\left(\mathbf{d}-{\mathbf{d}}^{\mathrm{o}\mathrm{b}\mathrm{s}}\right)\right]$$
$p_{\mathrm{A}}(\mathbf{d})$和$p_{\mathrm{A}}(\mathbf{m})$，分别描述了数据$\mathbf{d}$和模型参数$\mathbf{m}$的信息

在求解反问题之前，我们可以通过以下两个步骤对关于反问题的了解情况进行总结：首先对数据定义一个先验概率密度函数$p_{\mathrm{A}}(\mathbf{d})$，然后将其与模型的先验密度函数$p_{\mathrm{A}}(\mathbf{m})$。先验数据概率密度函数总结了观测，其均值为${\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}}$，且它的方差见附录2。由于先验模型概率密度函数完全独立于数据的实际值，我们可以将两者通过简单地相乘来构建其联合概率密度函数：
$$p_{\mathrm{A}}(\mathbf{m},\mathbf{d})=p_{\mathrm{A}}(\mathbf{m})p_{\mathrm{A}}(\mathbf{d})$$
这个概率密度函数可以被形象地描述为以观测数据和先验模型参数为中心的概率云(cloud of probability)，它的宽度反映了这些量的确定程度，如下图所示，其分布函数的尖峰位于均值$m^{ap}$和$d^{obs}$处。

2 最大似然性解

2.1 准确理论

假设模型与数据的关系式为$\mathbf{g}(\mathbf{m})=\mathbf{d}$(线性/非线性方程)，该方程在模型参数和数据所张成的空间中呈一个曲面，而方程的解就位于这个曲面上。那么，最大似然问题就转化为在曲面$\mathbf{d}=\mathbf{g}(\mathbf{m})$上，寻找联合概率分布$p_A(\mathbf{m},\mathbf{d})$（或$\log p_A(\mathbf{m},\mathbf{d})$）的最大值，可抽象描述为：
maximize $\log [p(\mathbf{m},\mathbf{d})]$
with the constrant $\mathbf{g}(\mathbf{m})-\mathbf{d}=0$
如下图所示，图A中模型参数$m$和数据$d$的先验联合概率密度$p_A(\mathbf{m},\mathbf{d})$表达的思想是模型参数接近它的先验值${\mathbf{m}}^{\mathbf{a}\mathbf{p}}$，且数据接近它的观测值${\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}}$(白色圆圈)。在这里，认为模型参数和数据是通过准确的理论公式$\mathbf{d}=\mathbf{g}(\mathbf{m})$相关联的（白色曲线）。估计模型参数${\mathbf{m}}^{\mathbf{e}\mathbf{s}\mathbf{t}}$和预测数据${\mathbf{d}}^{\mathbf{p}\mathbf{r}\mathbf{e}}$落在曲线的最大概率点处(黑点)。图B展示了沿曲线计算的概率密度$p$。

注意，上图中模型参数的先验概率密度函数比观测数据的概率密度函数更加确定(${\sigma }_m<{\sigma }_d$)，那么模型参数的估计（最大似然点）趋近于先验模型参数，如下图解${\mathbf{m}}^{\mathbf{e}\mathbf{s}\mathbf{t}}$更加接近于${\mathbf{m}}^{\mathbf{a}\mathbf{p}}$,但可能会远离$d^{obs}$。

反之，若${\sigma }_d<{\sigma }_m$,模型参数的估计主要体现了数据所包含的信息，如下图，解接近于$d^{obs}$，但有可能会远离$m^{ap}$

准确理论的最大似然法与长度方法与有很好的对应关系，关于$\mathbf{m}$最小化$\Phi (\mathbf{m})=L(\mathbf{m})+E(\mathbf{m})$,其中：
$$\begin{array}{l}L(\mathbf{m})=(\mathbf{m}-⟨\mathbf{m}⟩{)}^{\mathrm{T}}[\mathrm{cov}\mathbf{m}{]}_{\mathrm{A}}^{-1}(\mathbf{m}-⟨\mathbf{m}⟩)\\ E(\mathbf{m})={\left(\mathbf{G}\mathbf{m}-{\mathbf{d}}^{\mathrm{o}\mathrm{b}\mathrm{s}}\right)}^{\mathrm{T}}[\mathrm{cov}\mathbf{d}{]}^{-1}\left(\mathbf{G}\mathbf{m}-{\mathbf{d}}^{\mathrm{o}\mathrm{b}\mathrm{s}}\right)\end{array}$$
对比长度方法的加权阻尼最小二乘问题，它具有
$${\epsilon }^2{\mathbf{W}}_m=[\mathrm{cov}\mathbf{m}{]}_{\mathrm{A}}^{-1}\text{ and }{\mathbf{W}}_e=[\mathrm{cov}\mathbf{d}{]}^{-1}$$
因此，它的解是方程组$\mathbf{F}\mathbf{m}=\mathbf{f}$的最小二乘解，即${\mathbf{F}}^{\mathbf{T}}\mathbf{F}\mathbf{m}={\mathbf{F}}^{\mathbf{T}}\mathbf{f}$,其中：
$$\mathbf{F}=\left[\begin{array}{c}[\mathrm{cov}\mathbf{d}{]}^{-1/2}\mathbf{G}\\ [\mathrm{cov}\mathbf{m}{]}_{\mathrm{A}}^{-1/2}\mathbf{I}\end{array}\right]\text{ and }\mathbf{f}=\left[\begin{array}{c}[\mathrm{cov}\mathbf{d}{]}^{-1/2}{\mathbf{d}}^{\mathrm{o}\mathrm{b}\mathrm{s}}\\ [\mathrm{cov}\mathbf{m}{]}_{\mathrm{A}}^{-1/2}⟨\mathbf{m}⟩\end{array}\right]$$
矩阵$[\mathrm{cov}\mathbf{d}{]}^{-1/2}$和$[\mathrm{cov}\mathbf{m}{]}^{-1/2}$可以看作是${\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}}$和$<\mathbf{m}>$的确定度，它们的数值这其不确定较小时较大。因此方程$\mathbf{F}\mathbf{m}=\mathbf{f}$的上半部分是由数据确定度加权的数据方程$\mathbf{G}\mathbf{m}={\mathbf{d}}^{\mathbf{e}\mathbf{s}\mathbf{t}}$，下部分是由模型参数确定度加权的先验方程$\mathbf{m}=<\mathbf{m}>$。加权最小二乘问题的矩阵$W_m$和$W_e$拥有明确的概率论含义。

2.2 不准确理论

在许多实际问题中，存在与理论有关的误差。有些理论的假设是不显示的，或者现存的理论计算方法仅是复杂的准确理论的近似形式。这这种情况种，方程$\mathbf{g}(\mathbf{m})=\mathbf{d}$不能再用一个简单曲面来代表。它已经变得"模糊不清(fuzzy)"，因为存在与之相关的误差。除了曲面外，可以想象一个以$\mathbf{g}(\mathbf{m})=\mathbf{d}$为中心的概率密度函数$p_g(\mathbf{m},\mathbf{d})$，其宽度正比于理论的不确定度。这时，我们不应该在曲面上寻找$p_A(\mathbf{m},\mathbf{d})$的最大似然点，而是将$p_A(\mathbf{m},\mathbf{d})$和$p_g(\mathbf{m},\mathbf{d})$合并为一个单独的分布，并在全部体积内寻找最大似然点。下图中图A代表$p_A(\mathbf{m},\mathbf{d})$的分布。图B表示不准去理论由以准确理论（白线）为中心的条件概率密度$p_g(\mathbf{m},\mathbf{d})$。图C为先验信息和不准确理论的合并。

其合并的形式如下：
$$p_{\mathrm{T}}(\mathbf{m},\mathbf{d})=p_{\mathrm{A}}(\mathbf{m},\mathbf{d})p_{\mathrm{g}}(\mathbf{m},\mathbf{d})$$

3 以相对熵为指导原则求解反问题

3.1 相对熵、信息增益

从信息论的观点来看，模型参数$\mathbf{m}$和数据$\mathbf{d}$的概率密度函数包含了两者的信息，可以通过信息增益来量化这些信息量，定义为：
$$\begin{array}{l}S\left[p_{\mathrm{A}}(\mathbf{m})\right]=\int p_{\mathrm{A}}(\mathbf{m})\log \left[\frac{p_{\mathrm{A}}(\mathbf{m})}{p_{\mathrm{N}}(\mathbf{m})}\right]{\mathrm{d}}^M\mathbf{m}\\ S\left[p_{\mathrm{A}}(\mathbf{d})\right]=\int p_{\mathrm{A}}(\mathbf{d})\log \left[\frac{p_{\mathrm{A}}(\mathbf{d})}{p_{\mathrm{N}}(\mathbf{d})}\right]{\mathrm{d}}^N\mathbf{d}\end{array}$$
式中，零概率密度函数$p_N(\mathbf{m})$和$p_N(\mathbf{d})$是模型参数和数据完全未知状态。
信息增益可以用作求解反问题的指导原则。其思想是寻找某个概率密度函数$p_T(\mathbf{m})$, 使$p_T(\mathbf{m})$相对于先验概率密度函数$p_A(\mathbf{m})$的信息增益$\mathbf{S}$最小化。在$\mathbf{S}$最小化过程中需要添加约束，否则解将变成$p_T(\mathbf{m})=p_A(\mathbf{m})$。其中一个必不可少的约束是$p_T(\mathbf{m})$积分的面积为1。其他约束的选择依赖于特定问题的具体情况。

3.2 例子-求解欠定问题

$$\mathrm{minimize}:S=\int p_{\mathrm{T}}(\mathbf{m})\log \left(\frac{p_{\mathrm{T}}(\mathbf{m})}{p_{\mathrm{A}}(\mathbf{m})}\right){\mathrm{d}}^{M}m$$
使用约束：
$$\int p_{\mathrm{T}}(\mathbf{m}){\mathrm{d}}^{M}m=1\text{ and }\int p_{\mathrm{T}}(\mathbf{m})(\mathbf{d}-\mathbf{G}\mathbf{m}){\mathrm{d}}^{M}m=0$$
式中，最终分布$p_{\mathrm{T}}(\mathbf{m})$是未知的，且先验分布$p_{\mathrm{A}}(\mathbf{m})$是已经指定好的（已知的）。注意，第二个约束表明，误差$\mathbf{e}=\mathbf{d}-\mathbf{G}\mathbf{m}$的平均（期望）值是0.
利用拉格朗日乘数法，可得：
$$\Phi (\mathbf{m})=p_{\mathrm{T}}\log \left(p_{\mathrm{T}}\right)-p_{\mathrm{T}}\log \left(p_{\mathrm{A}}\right)+{\lambda }_0{p}_{\mathrm{T}}+{\mathbf{\lambda }}^{\mathrm{T}}(\mathbf{d}-\mathbf{G}\mathbf{m})p_{\mathrm{T}}$$
$$\frac{\partial \Phi }{\partial p_{\mathrm{T}}}=0=\log \left(p_{\mathrm{T}}\right)+1-\log \left(p_{\mathrm{A}}\right)+{\lambda }_0+{\lambda }^{\mathrm{T}}(\mathbf{d}-\mathrm{G}\mathrm{m})$$
或
$$p_{\mathrm{T}}(\mathbf{m})=p_{\mathrm{A}}(\mathbf{m})\exp \left\{-\left(1+{\lambda }_0\right)-{\lambda }^{\mathrm{T}}(\mathbf{d}-\mathbf{G}\mathbf{m})\right\}$$
又因为
$$p_{\mathrm{A}}(\mathbf{m})\propto \exp \left\{-\frac{1}{2}(\mathbf{m}-⟨\mathbf{m}⟩{)}^{\mathrm{T}}[\mathrm{cov}\mathbf{m}{]}_A^{-1}(\mathbf{m}-⟨\mathbf{m}⟩)\right\}$$
那么，
p T ( m ) ∝ exp ⁡ { − A ( m ) } p_{\mathrm{T}}(\mathbf{m}) \propto \exp \{-A(\mathbf{m})\} pT​(m)∝exp{−A(m)}
其中
$$A(\mathbf{m})=\frac{1}{2}(\mathbf{m}-⟨\mathbf{m}⟩{)}^{\mathrm{T}}[\mathrm{cov}\mathbf{m}{]}_{\mathrm{A}}^{-1}(\mathbf{m}-⟨\mathbf{m}⟩)-\left(1+{\lambda }_0\right)-{\lambda }^{\mathrm{T}}(\mathbf{d}-\mathbf{G}\mathbf{m})$$
要寻找的模型参数最佳估计${\mathbf{m}}^{\mathbf{e}\mathbf{s}\mathbf{t}}$是这个分布的均值，也是这个分布的最大似然点。这个点出现在$\mathbf{A}(\mathbf{m})$取极小值的位置：
$$\frac{\partial A}{\partial m_q}=0\text{ or }0=[\mathrm{cov}\mathbf{m}{]}_{\mathrm{A}}^{-1}\left({\mathbf{m}}^{\mathrm{e}\mathrm{s}\mathrm{t}}-⟨\mathbf{m}⟩\right)+{\mathbf{G}}^{\mathrm{T}}\lambda$$
左乘$\mathbf{G}[cov\mathbf{m}{]}_A$，回代如$\mathbf{d}=\mathbf{G}\mathbf{m}$，可得
λ = { G [ cov ⁡ m ] A G T } − 1 { d − G ⟨ m ⟩ } \boldsymbol{\lambda}=\left\{\mathbf{G}[\operatorname{cov} \mathbf{m}]_{\mathrm{A}} \mathbf{G}^{\mathrm{T}}\right\}^{-1}\{\mathbf{d}-\mathbf{G}\langle\mathbf{m}\rangle\} λ={G[covm]A​GT}−1{d−G⟨m⟩}
最终得到解：
m e s t − ⟨ m ⟩ = [ cov ⁡ m ] A G T { G [ cov ⁡ m ] A G T } − 1 { d − G ⟨ m ⟩ } \mathbf{m}^{\mathrm{est}}-\langle\mathbf{m}\rangle=[\operatorname{cov} \mathbf{m}]_{\mathrm{A}} \mathbf{G}^{\mathrm{T}}\left\{\mathbf{G}[\operatorname{cov} \mathbf{m}]_{\mathrm{A}} \mathbf{G}^{\mathrm{T}}\right\}^{-1}\{\mathbf{d}-\mathbf{G}\langle\mathbf{m}\rangle\} mest−⟨m⟩=[covm]A​GT{G[covm]A​GT}−1{d−G⟨m⟩}

4 三种观点的等效

对于同一线性反问题的一般解，三种观点是等效的
观点1：解是通过最小化$L_2$预测误差和$L_2$解的简单程度的线性组合来获得的，即最小化：
$${\mathbf{e}}^{\mathrm{T}}{\mathrm{W}}_e\mathbf{e}+{\epsilon }^2[\mathbf{m}-⟨\mathbf{m}⟩{]}^{\mathrm{T}}{\mathrm{W}}_m[\mathbf{m}-⟨\mathbf{m}⟩]$$
观点2：解是通过最小化模型分辨率，数据分辨率，和模型方差大小三项的线性组合获得的，最小化：
$${\alpha }_1\mathrm{spread}(\mathbf{R})+{\alpha }_2\mathrm{spread}(\mathbf{N})+{\alpha }_3\mathrm{size}\left(\left[{\mathrm{cov}}_u\mathbf{m}\right]\right)$$
观点3：解是通过最大化数据，先验模型参数和理论的联合高斯分布的似然性来获得的，最大化：
$$L=\log p_{\mathrm{T}}(\mathbf{m},\mathbf{d})$$

附录

1 方差与协方差

把一个有误差的数据$d_i$当作随机变量处理时，它的方差定义为：
$$\mathrm{Var}\left(d_i\right)=\underset{L\to \infty }{\lim }\frac{1}{L}\sum _{i=1}^L{\left(d_{il}-\widehat{d_i}\right)}^2$$
式中，$L$为测量次数，$\widehat{d_i}$为随机变量$d_i$的数学期望$E(d_i)$,也就是精确的数据，而$d_{il}$为第$l$次的测量值。两个带误差的数据$d_i$和$d_j$在统计上相关时它们的互协方差定义为以下乘积的数学期望
$$\begin{array}{rl}\mathrm{Cov}\left(d_i,d_j\right)& =E\left\{\left(d_i-\widehat{d_i}\right)\left(d_j-\widehat{d_j}\right)\right\}\\ & =\underset{L\to \infty }{\lim }\frac{1}{L}\sum _{i=1}^L\left(d_{il}-\widehat{d_i}\right)\left(b_{jl}-\widehat{d_j}\right)\end{array}$$
对于整个数据集（向量$\mathbf{d}$），其协方差矩阵为
$${\mathbf{C}}_d=\left[\begin{array}{cccc}\mathrm{Var}\left(d_1\right)& \mathrm{Cov}\left(d_1,d_2\right)& \cdots & \mathrm{Cov}\left(d_1,d_n\right)\\ \mathrm{Cov}\left(d_2,d_1\right)& \mathrm{Var}\left(d_2\right)& \cdots & \mathrm{Cov}\left(d_2,{\hat{d}}_n\right)\\ ⋮& ⋮& & ⋮\\ \mathrm{Cov}\left(d_n,d_1\right)& \mathrm{Cov}\left(d_n,d_2\right)& \cdots & \mathrm{Var}\left(d_n\right)\end{array}\right]$$

值得注意的是，在进行实际地球物理数据的反演时，要求出上式的数据协方差，这要求多次重复测量，增加了数据采集成本。在数据统计上不相关而且是由多台不同仪器观测取得时，可以利用不同仪器在同一基点处重复观测的数据确定每台仪器的方差，并把此方差当作某台仪器在某天观测的数据方差，用来对各仪器的数据做归一化处理。

2 归一化，为什么？

参数化后的地球物理模型可以表述为下面的形式：
$$m^T=\left({\rho }_1,\cdots ,{\rho }_4,k_1,\cdots \cdot k_4,{\mu }_1,\cdots ,{\mu }_4,r_1,r_2,r_3\right)$$
其中多个物理量具有不同量纲。由于量纲的原因，它们的数值可以相差几个数量级，此时jacobian矩阵的列向量的模也差别极大，以致性状很坏。因此，在进行数值反演计算之前，应该把所有模型参数 转化为无量纲的量，即归一化。对于数据也有类似的情况，就数据而言，不同的数据具有不同的方差，因此可以用方差或其他统计参数是数据和模型归一化。
以数据为例，假设各个数据在统计上是独立的，标准差为${\sigma }_i,i=1,2,\cdots ,N$($N$为数据的个数)，则$d_i/{\sigma }_i$是一个无量纲的量。即对角阵
$$\mathbf{E}=\left[\begin{array}{ccccc}1/{\sigma }_1& & & & \\ & \ddots & & & \\ & & \ddots & & \\ & & & \ddots & \\ & & & & 1/{\sigma }_n\end{array}\right]$$
那么归一化的数据为$${\mathbf{d}}^{\prime }=\mathbf{E}\mathbf{d}=\mathbf{E}\mathbf{G}\mathbf{m}$$
或写为：
$${\mathbf{G}}^{\prime }\mathbf{m}={\mathbf{d}}^{\prime },{\mathbf{G}}^{\prime }=\mathbf{E}\mathbf{G},{\mathbf{d}}^{\prime }=\mathbf{E}\mathbf{d}$$
若用最小二乘法求解方程组，则此时需要把预测误差$r$与对角阵$\mathbf{E}$乘积的$L_2$范数最小化：
$$\Vert \mathbf{E}r{\Vert }_2={\mathbf{r}}^{\mathbf{T}}{\mathbf{E}}^{\mathbf{T}}\mathbf{E}\mathbf{r}={\mathbf{r}}^{\mathbf{T}}{\mathbf{W}}_e^{-1}\mathbf{r}$$