最小二乘与最大似然估计之间的关系

最新推荐文章于 2023-08-23 20:43:51 发布

dok22260

最新推荐文章于 2023-08-23 20:43:51 发布

阅读量1.2k

点赞数 1

文章标签：人工智能数据结构与算法

原文链接：http://www.cnblogs.com/monoSLAM/p/5257589.html

版权

本文探讨了最小二乘法与最大似然估计之间的关系，指出在测量误差服从高斯分布的条件下，两者等价。最大似然估计通过最大化似然函数来寻找最合适的参数估计，而最小二乘法是其在特定条件下的表现形式。文中还介绍了高斯分布、拉普拉斯分布以及最大后验估计等概念，并通过线性回归模型展示了不同策略的推导过程。

摘要由CSDN通过智能技术生成

1、结论

测量误差（测量）服从高斯分布的情况下，最小二乘法等价于极大似然估计。

2、最大似然估计概念

$\max{L(\theta;X)}$ $(1)$

最大似然估计就是通过求解最大的（1）式得到可能性最大的 $\theta$ 作为真 $\theta$ 的估计，其中 L 函数称为参数 $\theta$ 的似然函数，是一个概率分布函数。

似然估计的思想是：测量值 X 是服从概率分布的，求概率模型中的参数，使得在假设的分布下获得该组测量出现概率最大：

例如：通过一次测量得到1.9、1.9、2.0、2.1、2.0、1.9、1.5、2.5、2.0、2.0，

通过直觉我们发现这组测量比较符合期望为2的高斯分布。

要不然，为什么取值都在2附近呢，为啥测量数据中没有（很少）1.0、5.0呢？也就是说，可以认为我的这些测量

是符合某个概率分布的（这个例子中为高斯分布），测量值中得到2附近值的概率比较大。

例如：一个箱子里有红球和黑球，通过10次放回抽取实验得到的结果为：8次黑球、2次红球。问箱子中黑球的比例？

这个例子中箱子里只有红球和黑球，可以假设黑球的比例为 p ，那么红球的概率为（1-p），

那么10次实验中8次黑球、两次红球的概率为： $L(p;8,2)={p^8}*{(1-p)^2}$ 。通过 $\maxL$ $\max{L}$ 即可求出 p = 0.8。

3、最大似然估计求法

a、样本从高斯分布中采样获得。高斯概率分布函数为：

$f=\frac{1}{{\sqrt{2\pi}\sigma}}{e^{-\frac{{{{(x-\mu)}^2}}}{{2{\sigma^2}}}}}$ $(2)$

通过测量获得 N 个测量值， ${x_1}...{x_n}$ ，它们符合高斯概率分布，此时它们的似然估计为：

最低0.47元/天解锁文章

关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
最小二乘与最大似然估计之间的关系

1、结论测量误差（测量）服从高斯分布的情况下，最小二乘法等价于极大似然估计。 2、最大似然估计概念最大似然估计就是通过求解最大的（1）式得到可能性最大的作为真的估计，其中 L 函数称...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。