机器学习-贝叶斯估计

最新推荐文章于 2024-05-15 06:21:20 发布

qq_39097323

最新推荐文章于 2024-05-15 06:21:20 发布

阅读量404

点赞数

文章标签：机器学习概率论统计学算法人工智能

本文链接：https://blog.csdn.net/qq_39097323/article/details/111304190

版权

贝叶斯估计

假设我们有样本D={ $X_{1}$ ~ $X_{n}$ },并且已知x~ $N(\mu ,\sigma ^{^{2}})$ 其中 $\mu$ 未知， $\sigma ^{2}$ 已知，又已知 $\mu$ ~ $N(\mu _{_{0}},\sigma _{0}^{2})$ .

$p(x|D)=\int_{\mu }^{ }p(x,\mu|D)d\mu =\int_{\mu }^{ }p(x|\mu ,D)p(\mu |D)d\mu =\int_{\mu }^{ }p(x|\mu)p(\mu |D)d\mu$ ,其中 $p(x|D)$ 表示在给定的样本条件

下来估计x的概率密度。我们需要求 $p(x|\mu)$ 和 $p(\mu|D)$ .

首先 $p(\mu |D)=\frac{p(D|\mu)p(\mu)}{p(D)}=\frac{p(D|\mu)p(\mu)}{\int p(D|\mu)p(\mu)}=\alpha p(D|\mu)p(\mu)$ ,其中 $\frac{1}{\int p(D|\mu)p(\mu)}=\alpha$

$p(\mu |D)=\alpha p(D|\mu)p(\mu)=\alpha \prod_{i=1}^{n}p(x_{i}|\mu)p(\mu)=\alpha\prod_{i=1}^{n} \frac{1}{\sqrt{2\pi }\sigma}e^{\frac{(x_{i}-\mu )^{2}}{-2}}\frac{1}{\sqrt{2\pi }\sigma _{0}}e^{\frac{(\mu -\mu _{0})^{2}}{-2}}$

$=\alpha \frac{1}{(\sqrt{2\pi }\sigma )^{n}\sqrt{2\pi }\sigma _{0}}e^{\frac{\sum_{i=1}^{n}(x_{i}-\mu )^{2}+(\mu -\mu _{0})^{2}}{-2}}=\alpha ^{'}e^{\frac{\frac{\sum_{i=1}^{n}x_{i}^{2}}{\sigma ^{2}}-\frac{(2\sum_{i=1}^{n}x_{i})\mu }{\sigma ^{2}}+\frac{n\mu ^{2}}{\sigma ^{2}}+\frac{\mu ^{2}}{\sigma _{0}^{2}}-\frac{2\mu \mu_{0} }{\sigma _{0}^{2}}+\frac{\mu_{0}^{2} }{\sigma _{0}^{2}}}{-2}}$ ,其中 ${\alpha }'=\alpha \frac{1}{(\sqrt{2\pi }\sigma )^{n}\sqrt{2\pi }\sigma _{0}}$

$={\alpha }'e^{\frac{(\frac{\sum_{i=1}^{n}x_{i}^{2}}{\sigma ^{2}}+\frac{\mu _{0}^{2}}{\sigma _{0}^{2}})}{-2}}e^{\frac{((\frac{n}{\sigma ^{2}}+\frac{1}{\sigma _{0}^{2}})\mu ^{2}-2(\frac{\sum_{i}^{n}x_{i}}{\sigma ^{2}}+\frac{\mu _{0}}{\sigma _{0}^{2}})\mu )}{-2}}$ $={\alpha }''e^{\frac{((\frac{n}{\sigma ^{2}}+\frac{1}{\sigma _{0}^{2}})\mu ^{2}-2(\frac{\sum_{i}^{n}x_{i}}{\sigma ^{2}}+\frac{\mu _{0}}{\sigma _{0}^{2}})\mu )}{-2}}$ ，（其中 ${\alpha }''=={\alpha }'e^{\frac{(\frac{\sum_{i=1}^{n}x_{i}^{2}}{\sigma ^{2}}+\frac{\mu _{0}^{2}}{\sigma _{0}^{2}})}{-2}}$ ）。

$=\frac{1}{\sqrt{2\pi }\sigma _{n}}e^{\frac{(\frac{\mu -\mu _{n}}{\sigma _{n}})^{2}}{-2}}=\frac{1}{\sqrt{2\pi }\sigma _{n}}e^{\frac{(\frac{\mu ^{2}}{\sigma _{n}^{2}}-2\frac{\mu_{n} \mu }{\sigma _{n}^{2}}+\frac{\mu _{n}^{2}}{\sigma _{n}^{2}})^{2}}{-2}}$ , $\mu ^{2},\mu$ 前面的系数相等则有： $\frac{1}{\sigma _{n}^{2}}=\frac{n}{\sigma ^{2}}+\frac{1}{\sigma _{0}^{2}}$ , $\frac{\mu _{0}}{\sigma _{n}^{2}}=\frac{\sum_{i}^{n}x_{i}}{\sigma ^{2}}+\frac{\mu _{0}}{\sigma _{0}^{2}}$

$\sigma _{n}^{2}=\frac{\sigma \sigma _{0}^{2}}{n\sigma_{0}^{2}+\sigma ^{2}}$ , $\mu _{n}=\frac{\sigma _{0}^{2}\sum_{i=1}^{n}x_{i}}{n\sigma _{0}^{2}+\sigma ^{2}}+\frac{\sigma ^{2}\mu _{0}}{n\sigma _{0}^{2}+\sigma ^{2}}$ ,所以 $p(\mu |D)$ ~ $N(\mu _{n},\sigma _{n}^{2})$ ,可以看出当n趋于无穷大的时候：

$\lim_{n->\infty }\mu _{n}=\lim_{n->\infty }\frac{\sigma _{0}^{2}\sum_{i=1}^{n}x_{i}}{n\sigma _{0}^{2}+\sigma ^{2}}+\frac{\sigma ^{2}\mu _{0}}{n\sigma _{0}^{2}+\sigma ^{2}}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$ ,当n趋于无穷大时贝叶斯估计等于最大似然估计。

$p(x|D)=\int_{\mu }^{ }p(x|\mu)p(\mu |D)d\mu=\int_{\mu}^{ }\frac{1}{\sqrt{2\pi }\sigma }e^{\frac{(x-\mu )^{2}}{-2\sigma ^{2}}}\frac{1}{\sqrt{2\pi }\sigma _{n}}e^{\frac{(\mu -\mu _{n})^{2}}{-2\sigma _{n}^{2}}}d\mu =\frac{1}{2\pi \sigma \sigma _{n}}e^{(\frac{(x\sigma _{n}^{2}+\sigma ^{2}\mu _{n})^{2}}{2\sigma ^{2}\sigma _{n}^{2}(\sigma ^{2}+\sigma _{n}^{2})})-(\frac{x^{2}\sigma _{n}^{2}+\sigma ^{2}\mu _{n}}{\sigma ^{2}\sigma _{n}^{2}})} \int_{\mu }^{ }e^{\frac{(\sigma ^{2}+\sigma _{n}^{2})(\mu -\frac{x\sigma _{n}^{2+\sigma ^{2}\mu _{n}}}{\sigma ^{2}\sigma _{n}^{2}})^{2}}{-2(\sigma ^{2}\sigma _{n}^{2})}}d\mu$