最大似然函数(Maximum Likelihood Function)最大化的是数据在给定参数下出现的概率。具体来说,它最大化的是似然函数(Likelihood Function),即给定参数 ( \theta ) 下观测数据的概率。在统计学中,似然函数 ( L(\theta) ) 通常定义为所有独立观测数据点概率的乘积,对于参数 ( \theta ) 的函数。
对于一组独立同分布的观测数据 ( x_1, x_2, \ldots, x_n ),似然函数可以表示为:
[ L(\theta) = \prod_{i=1}^{n} f(x_i; \theta) ]
其中,( f(x_i; \theta) ) 是第 ( i ) 个观测数据在参数 ( \theta ) 下的概率密度函数(对于连续随机变量)或概率质量函数(对于离散随机变量)。
最大似然估计(Maximum Likelihood Estimation, MLE)的目标是找到一组参数 ( \theta ),使得观测到的数据集的概率最大,即:
[ \hat{\theta} = \arg\max_\theta L(\theta) ]
在实际操作中,为了简化计算和避免数值上的不稳定性,通常会最大化似然函数的对数,即对数似然函数(Log-Likelihood Function):
[ \log L(\theta) = \sum_{i=1}^{n} \log f(x_i; \theta) ]
最大化对数似然函数等价于最大化似然函数本身,因为对数函数是单调递增的。找到最大化对数似然函数的参数 ( \theta ) 就是最大似然估计的结果。这个过程可以帮助我们估计模型参数,使得模型最好地解释观测到的数据。