非高斯统计（L2范数）的地球物理反问题

最小二乘法和$L_2$范数在反问题求解中应用广泛，同时这种情形可以通过假设数据与先验模型参数遵从高斯统计来合理解释。但这个假设并不总是恰当的，有些数据集服从其他分布。
双边指数概率密度函数就是一个简单的变通选择。假设具有相同的均值$⟨d⟩$和方差${\sigma }^2$，对高斯和指数分布两者进行比较：

两者的概率密度分布如下图所示，红色曲线对应指数分布，蓝色对应高斯分布，可以看到指数分布有更长的拖尾。

那么也就是说，对于远离$⟨d⟩$的数据，就其存在的概率来说，指数概率密度函数要远高于高斯概率密度函数，如下表所示：

所以，基于指数概率密度函数的方法将比高斯概率密度函数的方法更有能力处理具有少量"坏"数据（离群值/远离$⟨d⟩$的数据），这种能够容忍少量离群值的方法是稳健的（robust）(Claerbout and Muir, 1973)。

1. 指数概率密度函数的最大似然估计

指数概率密度函数与$L_1$范数的关系，同高斯概率密度函数与$L_2$范数的关系相同。
考虑$N$个独立数据的联合分布，各个数据具有相同的$⟨d⟩$和方差${\sigma }^2$。其联合概率密度函数为$N$个单变量函数的乘积：
$$p(d)=(2{)}^{-N/2}{\sigma }^{-N}\exp \left[-\frac{(2{)}^{1/2}}{\sigma }\sum _{i=1}^N\left|d_i-⟨d⟩\right|\right]$$
1）为了最大化$p(d)$函数，必须最大化指数项参量，即最小化预测误差
$$\mathrm{minimize}E=\sum _{i=1}^N\left|d_i-m_1\right|$$

这恰好是$\mathbf{G}\mathbf{m}=\mathbf{d}形式线性反问题中，$L_1$范数的预测误差$

2）应用最大似然原理，则有
$$\text{ maximize }L=\log p=-\frac{N}{2}\log (2)-N\log (\sigma )-\frac{(2{)}^{1/2}}{\sigma }\sum _{i=1}^N\left|d_i-⟨d⟩\right|$$

另上述两项导数等于$0$，得到：
$$\begin{array}{rl}\frac{\partial L}{\partial m_1}& =0=\frac{(2{)}^{1/2}}{\sigma }\sum _{i=1}^N\mathrm{sign}\left(d_i-⟨d⟩\right)\\ \frac{\partial L}{\partial \sigma }& =0=\frac{N}{\sigma }-\frac{(2{)}^{1/2}}{{\sigma }^2}\sum _{i=1}^N\left|d_i-⟨d⟩\right|\end{array}$$

sign(x)叫做符号函数，其功能是取某个数的符号（正或负）：
当x>0，sign(x)=1;
当x=0，sign(x)=0;
当x<0， sign(x)=-1；

第一个方程生成了$⟨d⟩={⟨d⟩}^{est}$的隐式表达式，即${\sum }_{i=1}^N\mathrm{sign}\left(d_i-⟨d⟩\right)=0$，无法直接求解。这意味着${⟨d⟩}^{est}$为采样点的中值。那么，即便为该数据集添加一个非常糟糕的采样点，中值也仅是从一个中心基准移动到了临近的中心基准，所以说中值是一个数据预测中稳健的属性。

高斯分布的均值是采样点的算术平均，指数分布的均值为采样点的中值。

第二个方程，可获得方差的一个估计：
$${\sigma }^{\mathrm{e}\mathrm{s}\mathrm{t}}=\frac{(2{)}^{1/2}}{N}\sum _{i=1}^N\left|d_i-⟨d⟩\right|$$
如果存在奇数个采样点，那么$⟨d⟩={⟨d⟩}^{est}$等于中间的采样点值，若存在偶数个采样点，那么
$⟨d⟩={⟨d⟩}^{est}$应该是数据序列中中间两个数据之间的一个值。在奇数的情况中，预测误差$E$仅在中间的采样点达到最小；但在偶数情况中，预测误差$E$在中间的两个采样点之间是水平的（下图A）。

图是对N次观测的均值$m^{est}$（$⟨d⟩={⟨d⟩}^{est}$）进行估计的反问题。图A具有偶数N的$L_1$误差$E(m)$（红线），误差拥有一个平缓的最小值，限定于两次观测（圆圈）之间，且解是非唯一的。图B具有奇数N的$L_1$误差，误差在一个观测点处是最小的，且解是唯一的。图C是$L_2$误差，误差在一个单独点处是最小的，这个点可能不会对应于观测点，但解是唯一的。

因此，我们注意到，这个最小化$\mathbf{G}\mathbf{m}=\mathbf{d}$预测误差的$L_1$问题可以有非唯一解，而这与$L_2$问题中遇到的非唯一性的原因不同。$L_1$问题依然具有非唯一性的原因是零解仍然存在，零解在任何范数下都无法改变预测误差。同时，这种新类型的非唯一性允许解取有限边界间的任意值。

2 广义线性问题

考虑反问题$\mathbf{G}\mathbf{m}=\mathbf{d}$，其中数据和模型先验信息分布与已知的均值${\mathbf{d}}^{\mathbf{o}\mathbf{b}\mathbf{s}}$，$⟨\mathbf{m}⟩$，和已知的方差${\sigma }_d^2,{\sigma }_m^2$无关。那么联合分布是：
$$p(\mathbf{d},\mathbf{m})=2^{-(M+N)/2}\prod _{i=1}^N{\sigma }_{d_i}^{-1}\exp \left[-2^{1/2}\frac{\left|e_i\right|}{{\sigma }_{d_i}}\right]\prod _{j=1}^M{\sigma }_{mj}^{-1}\exp \left[-2^{1/2}\frac{\left|l_j\right|}{{\sigma }_{mj}}\right]$$
其中，
预测误差为：$\mathbf{e}=\mathbf{d}-\mathbf{G}\mathbf{m}$，
解的长度为：$\mathbf{I}=\mathbf{m}-⟨\mathbf{m}⟩$

1）最大似然发生在指数取极小值是，也就是$L_1$的预测误差与解的长度之和被最小化时：
$$\text{ minimize }E+L=\sum _{i=1}^N\frac{\left|e_i\right|}{{\sigma }_{d_i}}+\sum _{j=1}^M\frac{\left|l_j\right|}{{\sigma }_{mj}}$$

值得注意的是，指数分布随机变量的联合（线性组合）并非是指数性的（不像高斯分布那样了）。

3 $L_{\infty }$范数

与$L_1$范数对“坏”数据加权更小（相对于$L_2$范数而言）相反，$L_{\infty }$对“坏”数据的加权更大：
$$\text{ minimize }L+E=\Vert \mathbf{e}{\Vert }_{\infty }+\Vert \mathbf{I}{\Vert }_{\infty }=\underset{i}{\max }\frac{\left|e_i\right|}{{\sigma }_{d_i}}+\underset{i}{\max }\frac{\left|l_i\right|}{{\sigma }_{m_i}}$$

一般而言，人们不想强调离群值，因此$L_{\infty }$形式的主要价值是它能偶提供一个模型参数的最差估计，以此与其他范数所求出的解估计进行比较。如果这些估计是接近的，则可以认定数据是高度一致的。