4 篇文章 0 订阅

一道有关极大似然估计和贝叶斯估计的题目

0. 题目

1. 根据样本 x 1 , … , x n x_1, \dots, x_n 写出 μ \mu 的极大似然估计。
2. 假设 μ \mu 的先验分布是正态分布 N ( 0 , τ 2 ) N(0, \tau ^ 2) ，根据样本 x 1 , … , x n x_1, \dots, x_n 写出 μ \mu 的贝叶斯估计。

1. 极大似然估计

L ( μ ) = ∏ i = 1 n f ( x i ) = ( 1 σ 2 π ) n ⋅ e − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 ∝ − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 L(\mu) = \prod \limits_{ i = 1 }^{ n } f(x_i) = (\frac { 1 }{ \sigma \sqrt { 2 \pi } }) ^ n \cdot e ^ { - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2 } \propto - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2

1 σ 2 ∑ i = 1 n ( x i − μ ) = 0 \frac { 1 }{ \sigma ^ 2 } \sum \limits_{ i = 1 }^{ n } (x_i - \mu) = 0

μ ^ = ∑ i = 1 n x i n = x ˉ \widehat \mu = \frac { \sum \limits_{ i = 1 }^{ n } x_i }{ n } = \bar x

2. 贝叶斯估计

P ( μ ) = 1 τ 2 π e − μ 2 2 τ 2 P(\mu) = { \frac { 1 }{ \tau { \sqrt { 2 \pi } } } } e^{ - { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } }

P ( μ ∣ x 1 , … , x n ) = P ( μ ) ⋅ P ( x 1 , … , x n ∣ μ ) P ( x 1 , … , x n ) = P ( μ ) ⋅ ∏ i = 1 n P ( x i ∣ μ ) ∫ P ( μ , x 1 , … , x n ) d μ P(\mu | x_1, \dots, x_n) = \frac{ P(\mu) \cdot P( x_1, \dots, x_n | \mu) }{ P(x_1, \dots, x_n) } = \frac{ P(\mu) \cdot \prod \limits_{ i = 1 }^{ n } P(x_i | \mu) }{ \int P(\mu, x_1, \dots, x_n) \mathrm{ d } \mu } ∝ P ( μ ) ⋅ ∏ i = 1 n P ( x i ∣ μ ) = 1 τ 2 π ⋅ e − μ 2 2 τ 2 ⋅ ( 1 σ 2 π ) n ⋅ e − 1 2 σ 2 ∑ i = 1 n ( x i − μ ) 2 \propto P(\mu) \cdot \prod \limits_{ i = 1 }^{ n } P(x_i | \mu) = { \frac { 1 }{ \tau { \sqrt { 2 \pi } } } } \cdot e ^{ - { \frac { \mu ^ 2 }{ 2 \tau ^ 2 } } } \cdot (\frac { 1 }{ \sigma \sqrt { 2 \pi } }) ^ n \cdot e ^ { - \frac { 1 }{ 2 \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) ^ 2 }

− μ τ 2 + 1 σ 2 ∑ i = 1 n ( x i − μ ) = 0 - { \frac { \mu }{ \tau ^ 2 } } + \frac { 1 }{ \sigma ^ 2 }\sum \limits_{ i = 1 }^{ n } (x_i - \mu) = 0

μ ^ = τ 2 ∑ i = 1 n x i σ 2 + n τ 2 = ∑ i = 1 n x i σ 2 τ 2 + n \widehat \mu = \frac{ \tau ^ 2 \sum \limits_{ i = 1 }^{ n } x_i }{ \sigma ^ 2 + n \tau ^ 2 } = \frac{ \sum \limits_{ i = 1 }^{ n } x_i }{ \frac{ \sigma ^ 2 }{ \tau ^ 2 } + n }

3. 疑问与解答

μ \mu 取某个值发生的概率。

11-24 2598

01-13
10-14 7944
10-19 389
04-14 8400
08-20 1万+
04-19 1166
03-12 3万+
07-04 1万+
10-06 1745
10-18 2810
09-11 5万+
03-04 6522

“相关推荐”对你有帮助么？

• 非常没帮助
• 没帮助
• 一般
• 有帮助
• 非常有帮助

LucienShui

¥2 ¥4 ¥6 ¥10 ¥20

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。