最优化--最大似然估计--最优化理论介绍

目录

最大似然估计

概念

最大似然估计原理

应用

最优化理论介绍 

最优化问题

迭代求解

---

最大似然估计

概念

最大似然估计（Maximum Likelihood Estimation，MLE）是统计学中一种常用的参数估计方法。它基于观测数据，通过寻找最大化参数的似然函数来估计参数的值。

最大似然估计法是由德国数学家高斯在1821年提出的 。 然而，这个方法常归功于英国统计学家费歇。因为费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质。

在最大似然估计中，假设我们有一组观测数据，我们希望通过这些数据来估计一个未知参数的值。我们首先要建立一个参数化模型，该模型的形式取决于我们要估计的参数。然后，我们通过最大化似然函数来找到使观测数据出现的概率最大的参数值。

似然函数是指给定观测数据的条件下，参数取某个值的概率密度函数（连续型数据）或概率质量函数（离散型数据）。最大似然估计的核心思想是寻找使观测数据出现的概率最大化的参数值，也就是找到使似然函数取得最大值的参数。

具体而言，我们假设观测数据是独立同分布的，即每个观测值的产生不受其他观测值的影响，并且来自同一个分布。在最大似然估计中，我们将观测数据视为固定的，而参数是可变的。通过最大化似然函数，我们可以找到最有可能产生观测数据的参数值。

最大似然估计原理

最大似然估计通过已知结果去反推最