极大似然估计的直观解释

教材云:
       极大似然估计法是求估计值的另一种方法,最早由高斯(R.A,Gauss)提出,后来为费史(Fisher)在1912年重新提出,并证明该方法的一些性质.它是建立在极大似然原理基础上的一个统计方法.

       极大似然原理:一个随机试验有若干种可能的结果A,B,C,….若在一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大.

例子:
设甲箱中有99个白球,1个黑球;乙箱中有1个白球,99个黑球.现随机取出一箱,再从中随机取出一球,结果是黑球,这时我们自然更多地相信这个黑球是取自乙箱的.

因此极大似然估计就是要选取这样的数值作为参数的估计值, 使所选取的样本在被选的总体中出现的可能性为最大,或者换句话说叫: 已经出现的情况应该具有最大的概率

一般步骤:
(1) 写出似然函数,L是关于样本和待估参数的函数;
(2) 对似然函数取对数,并整理;
(3) 求导数,解似然方程
由于样本x1,x2,x3...等都同时出现,故待估参数的值应使该事件概率最大化。
### 关于机器学习中的极大似然估计 #### 极大似然估计的概念与原理 极大似然估计是一种用于统计建模的方法,在给定一组数据的情况下,用来寻找最有可能导致这些观察结果的参数值。这种方法的核心在于构建一个描述数据分布可能性的函数——即似然函数,并通过调整模型参数让这个函数达到最大值。 具体而言,假设有一个独立同分布的数据集 \(D=\{x_1,x_2,\ldots,x_n\}\),其中每个样本都服从某个未知但固定的概率密度\(p(x|\theta)\),这里的 \(\theta\) 表示待估参数向量。那么整个数据集发生的联合概率可以表示为: \[L(\theta|X)=\prod_{i=1}^{n} p(x_i|\theta)[^4]\] 为了简化计算通常取自然对数得到对数似然函数: \[l(\theta|X)=\sum_{i=1}^{n}\log(p(x_i|\theta))\] 目标是找到能使该表达式最大的 \(\hat{\theta}_{MLE}\): \[\hat{\theta}_{MLE}=argmax_\theta l(\theta|X)\] 这种做法不仅直观而且具备良好的理论性质,如一致性、渐近正态性和效率等特性。 #### 实际应用案例 在实践中,极大似然估计被广泛应用到了各种领域之中。例如,在图像识别任务里,当训练卷积神经网络时,损失函数的选择往往基于交叉熵的形式,这实际上就是在执行一种形式上的极大似然估计过程;而在时间序列分析中,则可能涉及到自回归滑动平均(ARMA)模型参数的学习,同样可以通过求解对应的似然方程来进行。 另外值得注意的是,在某些情况下直接解析求得最优解较为困难甚至不可能完成的时候,还可以借助数值优化算法(梯度下降法、牛顿-拉夫森迭代等)逐步逼近全局极值点。 #### Python代码示例 下面给出一段简单的Python代码片段展示如何利用scipy库实现一维高斯分布的最大似然拟合: ```python import numpy as np from scipy import stats, optimize def log_likelihood(params, data): mu, sigma = params ll = -np.sum(stats.norm.logpdf(data, loc=mu, scale=sigma)) return ll data = np.random.normal(loc=0., scale=1., size=100) result = optimize.minimize(log_likelihood, x0=[0, 1], args=(data,)) estimated_mean, estimated_stddev = result.x print(f"Estimated mean: {estimated_mean}") print(f"Estimated standard deviation: {estimated_stddev}") ``` 这段程序首先定义了一个负对数似然函数`log_likelihood()`作为最小化对象,接着生成了一些模拟的标准正态随机变量作为输入数据,最后调用了SciPy提供的优化器来获取最佳均值和标准差估计值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值