极大似然估计作用:

极大似然估计(Maximum Likelihood Estimation)是一种在统计学中常用的参数估计方法。它是一种基于概率的方法,用于估计一个概率模型的参数,使得该参数值下观测到样本的概率最大化。

极大似然估计的基本思想:

假设有一组数据来自同一个正态分布,估计正态分布的均值和标准差。

任务是找到一个高斯分布,让这组数据出现的概率最大,将联合概率取最大值,对应联合概率的最大值就是要找的高斯分布。

在求解时,联合概率可以用连乘来表示,防止数字小,取对数。

极大似然估计计算方法:

具体来说,假设有一组观测数据 {x₁, x₂, ..., xₙ},这些数据是从一个概率分布 f(x; θ) 中独立地生成的,其中 x 表示观测值,θ 是概率分布的参数。MLE 的目标是找到一个参数值 θ̂,使得观测数据的似然函数 L(θ) 最大化,即:

L(θ) = f(x₁; θ) * f(x₂; θ) * ... * f(xₙ; θ)

取对数之后,通常我们会最大化对数似然函数来简化计算,因为对数函数是单调递增的,不会改变最优化的结果。于是,极大似然估计可以表示为:

θ̂ = argmaxₜ ln(L(θ)) = argmaxₜ ∑ ln(f(xᵢ; θ))

其中 argmaxₜ 表示使得函数取最大值的参数值 θ̂。