极大似然估计（Maximum Likelihood Estimation, MLE）

极大似然估计（Maximum Likelihood Estimation, MLE）是一种常用的参数估计方法，用于在给定观测数据的情况下找到最可能产生这些数据的模型参数值。MLE的基本思想是选择那些使观察到的数据出现概率最大的参数值。

假设我们有一个参数为$\theta$的概率分布$P(x|\theta )$，其中$x$是观测到的数据。如果我们有一组独立同分布的样本$x_1,x_2,...,x_n$，那么这组样本出现的概率（即似然函数）可以表示为：

$$L(\theta |x_1,x_2,...,x_n)=P(x_1,x_2,...,x_n|\theta )=\prod _{i=1}^{n}P(x_i|\theta )$$

极大似然估计的目标就是找到参数$\theta$的值，使得似然函数$L(\theta |x_1,x_2,...,x_n)$达到最大值。通常我们会对似然函数取对数，以便于计算，因为对数函数是单调增加的，所以不会改变极大值点的位置。因此，我们要最大化的是对数似然函数：

$$\log L(\theta |x_1,x_2,...,x_n)=\sum _{i=1}^n\log P(x_i|\theta )$$

求解极大似然估计的一般步骤如下：

1. 写出似然函数：根据数据和假设的模型写出似然函数$L(\theta |x_1,x_2,...,x_n)$。
2. 写出对数似然函数：为了简化计算，通常对似然函数取对数得到对数似然函数。
3. 求导并设置为零：对对数似然函数关于参数$\theta$求导，并将导数设置为零，解出$\theta$。
4. 验证极大值：确保所求得的$\theta$使得对数似然函数达到极大值，可以通过二次导数检验或直接观察来完成。

在实际应用中，极大似然估计可能会遇到一些挑战，比如当似然函数不是凸函数时，可能难以找到全局最优解；或者当数据量非常大时，计算可能变得复杂。此外，MLE 有时可能会导致过拟合问题，尤其是在参数数量较多而数据量较少的情况下。为了缓解这些问题，可以采用正则化技术或使用贝叶斯方法等其他统计推断方法。

极大似然估计在图像复原中的一个典型应用是Richardson-Lucy (RL)算法。