概率论基础知识

Alyeska

于 2024-07-30 14:32:13 发布

阅读量162

点赞数 9

分类专栏：卡尔曼滤波学习文章标签：概率论笔记

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/alyeska/article/details/140793166

版权

卡尔曼滤波学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

后验概率

以下 $\theta$ 代表因， $x$ 代表果。

先验概率：在结果发生前就根据历史规律确定原因的概率分布，即 $P(\theta)$

后验概率：已知结果，据此猜原因的概率分布，即 $P(\theta|x)$

似然估计：先定下原因，根据原因估计结果的概率分布，即 $P(x|\theta)$

贝叶斯公式： $P(A|B)=\frac{P(A)P(B|A)}{P(B)}$ ，在此即可写为： $P(\theta|x)=\frac{P(x|\theta)P(\theta)}{P(x)}$

即：后验概率 = 似然估计 * 先验概率 / evidence

此处 $P(x)$ 即为不考虑原因只看结果的概率分布，即 evidence ，又称样本发生的概率分布的证据

换言之， $P(\theta)$ 是在观测前凭借先验知识对待估参数的认识， $P(x|\theta)$ 是确定了参数以后的试验结果概率分布， $P(x)$ 是与待估参数无关的边缘分布，计算时采用 $P(x) = \sum_{\theta} P(x|\theta)P(\theta)$ ， $P(\theta|x)$ 反映了在给定试验数据的基础上，对参数的新的认识，是贝叶斯分析的结果。注意后验概率是可以不断更新的，上一次实验计算得到的后验概率可以作为下一次的先验

MAP/ML/贝叶斯估计

给定一些数据样本 $x$ ，已知其是从某分布中取出的，但并不知道该分布的参数 $\Theta$

使用最大似然估计（maximum likelihood）：找出使分布产出数据 $x$ 概率最大的参数 $\theta$ :

$\mathop{argmax}\limits_{\theta}P(x|\theta)$

若该参数存在先验概率，则使用最大后验估计（maxaposterior），优化后验概率：

$\mathop{argmax}\limits_{\theta} P(\theta|x) =\mathop{argmax}\limits_{\theta} \frac{P(x|\theta)P(\theta)}{P(x)}$

给定 $x$ 后 $P(x)$ 大小与参数无关，故此处仅作归一项，即后验概率正比于先验概率乘似然函数

$\mathop{argmax}\limits_{\theta} P(\theta|x) =\mathop{argmax}\limits_{\theta} P(x|\theta)P(\theta)$

$Posterior \propto Likelihood* Prior$

贝叶斯推断求解过程

待估参数 $\Theta$ （视为随机变量），观测到样本数据 $X$ ，从中提取用于估计的信息

① 确定 $\Theta$ 的先验分布 $p_\Theta$ 或 $f_{\Theta}$ (用以区分离散或连续)。

② 确定观测数据 $X$ 的分布模型，是一个基于随机变量 $\Theta$ 的条件概率分布 $p_{X|\Theta}$ 或 $f_{X|\Theta}$

③ 观察到 $X$ 的一个特定值 $x$ 后，就可以进行计算：

$p_{\Theta|X}(\theta|x) = \frac{p_{\Theta}(\theta)p_{X|\Theta}(x|\theta)}{p(X)}=\frac{p_{\Theta}(\theta)p_{X|\Theta}(x|\theta)}{\sum\limits_{\theta'}p_{\Theta}(\theta')p_{X|\Theta}(x|\theta')}$

关注

9
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
概率论基础知识

反映了在给定试验数据的基础上，对参数的新的认识，是贝叶斯分析的结果。注意后验概率是可以不断更新的，上一次实验计算得到的后验概率可以作为下一次的先验。大小与参数无关，故此处仅作归一项，即后验概率正比于先验概率乘似然函数。，已知其是从某分布中取出的，但并不知道该分布的参数。是在观测前凭借先验知识对待估参数的认识，是与待估参数无关的边缘分布，计算时采用。即为不考虑原因只看结果的概率分布，即。是确定了参数以后的试验结果概率分布，的分布模型，是一个基于随机变量。，从中提取用于估计的信息。又称样本发生的概率分布的。
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。