正态分布均值μ的极大似然估计推导

推导下述正态分布均值的极大似然估计和贝叶斯估计。
数据x1,x2,…,xn来自正态分布N(μ,σ2),其中σ2已和。
(1)根据样本x1,…,xn写出μ的极大似然估计。
(2)假设μ的先验分布是正态分布N(0,τ2),根据样本x1,…,xn写出μ的Bayes估计。
先求极大似然估计Maximum Likelyhood Estimation
贝叶斯Bayes估计推导见这我的这一篇博客
正态分布的概率密度函数是
在这里插入图片描述
目标函数为
在这里插入图片描述
关于这个公式有必要解释一下。
(1)为什么是连乘?因为样本独立,所以联合概率为各样本单独的概率的乘积。
(2)为什么N个样本的概率是概率密度函数的连乘而不是概率的连乘?其实严格来说应该是概率(而不是密度)的乘积。这里做了一个简化。对于连续随机变量来说,某一点的概率都是0。我们讨论的随机变量等于某个值的概率其实是指取值在这个值的小领域ε的某个概率,当ε很小时,可近似认为:
在这里插入图片描述
由于2和ε都是常量,当在讨论联合分布概率的大小时,可忽略这2个值,可用密度函数代替概率。
在这里插入图片描述
在这里插入图片描述
可以看到极大似然估计就是n个样本的均值。

贝叶斯估计是一种参数估计的方法,它结合了先验概率和观测数据来得出对参数的估计值。对于正态分布均值的贝叶斯估计公式推导如下: 设原始数据的样本集合为X={x1, x2, ..., xn},假设这些样本是独立同分布的,并服从正态分布N(μ, σ^2)。其中μ为均值,σ^2为方差,我们的目标是对均值μ进行估计。 首先,我们引入先验概率密度函数p(μ),表示对均值μ的预先假设。一般我们使用无信息先验,即假设μ的先验服从一个较为平坦的概率分布,比如均匀分布或者高斯分布。 根据贝叶斯定理,可以得到参数μ的后验概率分布公式为: p(μ|X) = p(X|μ) * p(μ) / p(X) 其中p(X|μ)为似然函数,表示给定μ下,样本X出现的概率;p(μ)为先验概率密度函数,表示对μ的预先假设;p(X)为归一化常数,用于保证后验概率的和为1。 假设样本X是独立同分布的,那么似然函数可以表示为: p(X|μ) = p(x1|μ) * p(x2|μ) * ... * p(xn|μ) 由于样本X的每一个观测值x都服从正态分布N(μ, σ^2),故似然函数可以写成: p(X|μ) = (1/√(2πσ^2))^n * exp(-(x1-μ)^2/(2σ^2)) * exp(-(x2-μ)^2/(2σ^2)) * ... * exp(-(xn-μ)^2/(2σ^2)) 然后,我们将上述公式带入到贝叶斯定理的后验概率分布公式中,得到: p(μ|X) = (1/√(2πσ^2))^n * exp(-(x1-μ)^2/(2σ^2)) * exp(-(x2-μ)^2/(2σ^2)) * ... * exp(-(xn-μ)^2/(2σ^2)) * p(μ) / p(X) 其中p(μ)为先验概率密度函数,p(X)为归一化常数,对于计算μ的贝叶斯估计值并不重要,故我们可以忽略。 最后,我们通过求解使得后验概率分布达到最大的μ的值来估计真实的均值μ。一般可以通过对概率分布取对数,然后对μ求导等方法来求解最大化的问题。 以上就是对正态分布均值的贝叶斯估计公式的详细推导过程。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值