贝叶斯估计(1):期末大乱炖

已于 2024-07-09 10:55:37 修改
阅读量1.2k 收藏 25
点赞数 28
文章标签： 算法
于 2024-07-08 22:31:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64279967/article/details/140218615
版权

写在前面！

目录

写在前面！

​编辑

1 先验分布和后验分布

求后验分布！！！

【1】连续时（先验分布）

​编辑

【2】离散

​编辑

共轭先验分布

【1】正态分布[指的是样本]的共轭先验分布[先验和后验都是]是正态分布(之间的关系)

【2】二项分布中的成功概率​编辑的共轭先验分布式贝塔分布

【3】泊松分布的均值​编辑的共轭先验分布是伽马分布

贝塔分布

伽马分布

先验分布超参数的确定

充分统计量【更方便的计算出后验分布！】

2 贝叶斯推断

2.1 条件方法

2.2 估计

2.2.1 贝叶斯估计

例题1

例题2

例题3

例题4

2.2.2 贝叶斯误差估计

例题1  ！！！！（先验分布是离散的）

例题2 （先验分布是连续的贝塔分布）

2.3 区间估计

例题1

2.4 假设检验

2.4.1 假设检验

例题1

2.4.2 贝叶斯因子

2.4.3 简单对简单【先计算贝叶斯因子】

例题1

2.4.4 复杂对复杂【计算后验概率比】

例题2

2.4.5 简单对复杂【先计算贝叶斯因子】

例题3

2.4.6 多重假设检验

例题4 

2.5 预测

例题5

2.6 似然原理

3 先验分布的确定

3.1 主观概率

3.2 利用先验信息

3.2.1 直方图法（微重要）

例题1

3.2.2 选定先验密度函数形式再估计其超参数

例题1延续

例题2

3.2.3 定分位度法和变分位度法【了解即可】

3.3 利用边缘分布确定先验分布

3.3.1 可直接求出边缘分布

例题1

3.3.2 混合分布下求出边缘分布类似加权求和

例题2

3.3.3 先验选择的ML-LL方法

例题3 延续3.3.1的例题1

3.3.4 先验选择的矩方法

例题4

3.4 无信息先验分布

4 决策中的收益、损失与效用

4.1 决策问题的三要素

4.2 决策准则

4.2.1 行动的容许性

例题1

4.2.2 决策准则【只使用先验信息】

【1】乐观准则（大中选大）

【2】悲观准则（小中选大）

【3】折中准则（加权）

例题

4.3 先验期望准则

例题

例题

4.3.2 两个性质

4.4 损失函数

4.4.1 从收益到损失

例题【由收益矩阵得到损失矩阵】

例题（已知收益函数的表达式求损失函数！）

4.4.2 损失函数下的悲观准则

例题（收益和损失悲观）

例题

4.4.3 损失函数下的先期望准则

例题

课本【P141】

例题p142

4.5 常用损失函数

4.5.1 常用损失函数

【1】平均损失函数

【2】线性损失函数

【3】0-1损失函数

【4】多元二次损失函数

【5】二行动线性决策问题的损失函数

例题【后序步骤和5.1 中的例题是一样的！】

5 贝叶斯决策

5.1 贝叶斯决策问题定义

优缺点

例题5.1.1P163!!!

5.2 后验风险准则【贝叶斯准则是使用这个的】

5.2.1 后验风险

例题【贝叶斯决策】！！！！！

【1】第四章

【3】贝叶斯

5.2.2 决策函数

5.2.3 后验风险准则

例题5.2.3

例题5.2.4

5.3 常用损失函数下的贝叶斯估计!!!!

5.3.1 平方损失函数下的贝叶斯估计

【1】定理1在平均损失下

【2】定理2在加权平方损失

【3】定理3在多元二次损失函数

例题5.3.1

5.3.2 线性损失函数下的贝叶斯估计

【1】定理1

例题5.3.6

5.3.3 有限个行动问题的假设检验

 6 统计决策理论

6.1 风险函数

6.1.1 风险函数

6.1.2 决策函数的最优性

6.1.3 统计决策中的点估计问题

6.1.4 统计决策中的区间估计问题

6.2 容许性

例题

6.3 最小最大准则

例题

例题

1 先验分布和后验分布

三种信息：总体信息、样本信息、先验信息

总体信息：“总体是正态分布”；样本信息：总体抽取的样本提供的信息，是最新鲜的信息；先验信息：在抽样之前就知道的关于统计问题的一些信息【来源于历史资料等】

贝叶斯公式

离散形式：

几个公式：

先验分布：

样本信息的综合：

三个信息的综合：

对\theta进行估计：

求后验分布！！！
【1】连续时（先验分布）

（1）写出先验分布，如果不知道按照均匀分布处理

（2）计算样本X 和参数\theta的联合分布

样本似然函数 乘以 先验信息密度函数

（3）计算X的边际密度【m(x)】

（4）利用贝叶斯公式得到\theta的后验分布

所以\theta的范围在这里就是 大于样本数的的最大值-0.5 小于最小值+0.5

这样就定下了\theta的取值范围咯！！！！

具体视频启发见：已知观测值求后验分布-哔哩哔哩_bilibili

【2】离散

共轭先验分布

【1】正态分布[指的是样本]的共轭先验分布[先验和后验都是]是正态分布(之间的关系)

【2】二项分布中的成功概率\theta的共轭先验分布式贝塔分布

【3】泊松分布的均值\lambda的共轭先验分布是伽马分布

是二项分布的进化，X是发生的次数，那么当抽取样本时，n\bar{x}就是总次数！！！！【可见例题5.3.1】

贝塔分布

伽马分布

特例：

先验分布超参数的确定

【1】利用先验矩

【2】利用先验分位数

【3】利用先验矩和先验分位数

充分统计量【更方便的计算出后验分布！】

作用：

应用：

p（x|\theta）是没有办法计算出来的因为，不知道具体取值的情况，但是p（\bar{x}|\theta）是知道的

2 贝叶斯推断

存在意义：

2.1 条件方法

2.2 估计

2.2.1 贝叶斯估计

例题1

例题2

例题3

贝叶斯假设 是假设\theta是均匀分布，当都为1 的时候贝塔分布退化成均匀分布

例题4

最大的取值不能超过观察值哦！！！

2.2.2 贝叶斯误差估计

后验均方误差的均值！

例题1  ！！！！（先验分布是离散的）

后验密度达到最大的时候所对应的\theta 是最大后验估计

后验分布期望值是后验分布均值

例题2 （先验分布是连续的贝塔分布）

众数算出来的值其实就是贝塔分布函数达到最大时自变量的取值！！！！

2.3 区间估计

不用寻找枢轴量直接用后验分布就可以！！

例题1

110.38-1.96*8.32 = 94.07

110.38+1.96*8.32 = 126.69

2.4 假设检验

2.4.1 假设检验

接受最大后验概率的假设！！！！

例题1

计算出后验分布！！

均匀

2.4.2 贝叶斯因子

后验概率比较的方法！

后验机会比、前验机会比！可见2.4.4 例题2

贝叶斯因子表示数据X支持原假设的程度！

2.4.3 简单对简单【先计算贝叶斯因子】

例题1

2.4.4 复杂对复杂【计算后验概率比】

例题2

不用计算器的话：就是先标准化然后查表！

贝叶斯因子小这就不可以！

2.4.5 简单对复杂【先计算贝叶斯因子】

例题3

2.4.6 多重假设检验

例题4 

谁大接受谁！

2.5 预测

例题5

2.6 似然原理

3 先验分布的确定

3.1 主观概率

3.2 利用先验信息

3.2.1 直方图法（微重要）

例题1

3.2.2 选定先验密度函数形式再估计其超参数

通过矩估计的方法！

例题1延续

例题2

3.2.3 定分位度法和变分位度法【了解即可】

3.3 利用边缘分布确定先验分布

3.3.1 可直接求出边缘分布

例题1

让m(x)达到最大时 ，求出两个超参数的值

3.3.2 混合分布下求出边缘分布类似加权求和

例题2

3.3.3 先验选择的ML-LL方法

例题3 延续3.3.1的例题1

样本是从边缘分布里抽出来的当然可以用于边缘分布超参数的估计！！！！！

3.3.4 先验选择的矩方法

可通过公式进行简化计算！

\mu _m(\lambda ) = E^{\theta |\lambda }[\mu (\theta ))]

目标是求出\lambda

例题4

到此为止吧，我看不懂.....服了

3.4 无信息先验分布

4 决策中的收益、损失与效用

4.1 决策问题的三要素

4.2 决策准则

4.2.1 行动的容许性

例题1

4.2.2 决策准则【只使用先验信息】

【1】乐观准则（大中选大）

【2】悲观准则（小中选大）

【3】折中准则（加权）

例题

4.3 先验期望准则

使先验平均收益达到最大的行动a

例题

例题

这个只计算均值时发现有两个最优行动，因此再计算方差 选择方差小的！！！

P134【课本】

4.3.2 两个性质

都加不变，同一个状态的一行加一样的数不变！

4.4 损失函数

损失函数：“没有转到该赚到的钱！”

4.4.1 从收益到损失

例题【由收益矩阵得到损失矩阵】

损失为，当前位 与赚最多钱时的差距！（状态是一定的！！！）

也是一个状态一算！

例题（已知收益函数的表达式求损失函数！）

对\theta进行积分得到关于a的表达式，然后求出这个表达式的最小值！！！

4.4.2 损失函数下的悲观准则

例题（收益和损失悲观）

注意悲观准则在 收益函数中时（小中选大）；在 损失函数中时（大中选小）

用损失函数进行决策合理一点！

例题

4.4.3 损失函数下的先期望准则

例题

课本【P141】

例题p142

4.5 常用损失函数

4.5.1 常用损失函数

【1】平均损失函数

【2】线性损失函数

【3】0-1损失函数

【4】多元二次损失函数

【5】二行动线性决策问题的损失函数

例题【后序步骤和5.1 中的例题是一样的！】

先求平衡值就是相等的时候\theta的取值！

5 贝叶斯决策

5.1 贝叶斯决策问题定义

先验信息和样本信息 都使用的决策问题！

按照后验平均损失最小 得到贝叶斯决策

优缺点

例题5.1.1P163!!!

让先验期望损失最小是第四章，把\theta弄没，离散的时候是相乘

贝叶斯要在这个机会基础上基础上进行抽样！

5.2 后验风险准则【贝叶斯准则是使用这个的】

5.2.1 后验风险

例题【贝叶斯决策】！！！！！

【1】第四章

【3】贝叶斯

后验分布！：

损失函数的计算后的个数等于：x的取值【抽样后数据的情况】*行动的个数！

损失函数：

行动2：变成只拿出箱子里的两个进行检查 那么需要支付1.6元，然后如果再进行赔偿！

5.2.2 决策函数

5.2.3 后验风险准则

例题5.2.3

例题5.2.4

5.3 常用损失函数下的贝叶斯估计!!!!

5.3.1 平方损失函数下的贝叶斯估计

【1】定理1在平均损失下

【2】定理2在加权平方损失

【3】定理3在多元二次损失函数

例题5.3.1

5.3.2 线性损失函数下的贝叶斯估计

【1】定理1

例题5.3.6

后验分布的积分是1

5.3.3 有限个行动问题的假设检验

 6 统计决策理论

只使用样本信息！

6.1 风险函数

6.1.1 风险函数

6.1.2 决策函数的最优性

6.1.3 统计决策中的点估计问题

6.1.4 统计决策中的区间估计问题

6.2 容许性

例题

6.3 最小最大准则

例题

例题

Oasis of the World
关注
两道例题详解贝叶斯定理
大数据
10-11 6625
导读：本文首先讲解条件概率及贝叶斯定理，之后有两道例题，看看你都能答对吗？作者：基思·斯坦诺维奇（Keith E. Stanovich）、理查德·韦斯特（Richard F. West）...
几个贝叶斯估计的例题
热门推荐
PKU_ZZY的博客
07-04 2万+
几个贝叶斯估计的例题
一道有关极大似然估计和贝叶斯估计的题目
LucienShui
02-29 1234
记录一道有关极大似然估计和贝叶斯估计的题目。本文地址：blog.lucien.ink/archives/500
贝叶斯估计的理解及例子
fjswcjswzy的博客
03-04 1万+
大体上，统计学分为两个学派，一个是经典学派（又称频率学派），用的是总体信息和样本信息来处理参数的问题。另一个是贝叶斯学派，除了用的是同经典学派一样的总体信息和样本信息之外，还有先验信息。那么什么是先验信息呢？比如我们要了解全国人的平均身高，那么总体就是全国人的平均身高，样本就是从每个省里抽1万个人出来的平均身高，那么什么是先验信息呢？今年是2020年，我们可以考察之前的数据，比如2000年的全国人...
统计学习方法第四章朴素贝叶斯的贝叶斯估计，例题4.2代码实践
GrinAndBearIt的博客
01-12 2968
统计学习方法第四章朴素贝叶斯的贝叶斯估计，例题4.2代码实践（如需要查看极大似然估计的算法请看我的另一篇文章http://blog.csdn.net/grinandbearit/article/details/79044065），贝叶斯算法略微复杂了点对分子分母做了矫正防止出现乘0现象 #-*- coding:utf-8 -*- from numpy import * #将书上的数据输入，
贝叶斯法则的一个例题
Swair的基础技术研究室
04-02 4780
1、甲袋中有5只白球, 7 只红球;乙袋中有4只白球, 2只红球.取甲、乙两袋的概率相同, 现在任取一袋，从所取到的袋子中任取一球 (1)、发现所取袋子是甲，问此白球是从甲袋中取出来概率多少？ (2)、问此球是甲袋中白球的概率是多少？ (3)、发现是白球，问此白球是从甲袋中取出来概率多少？ 解析： 首先看样本空间。一共有18个球。样本空间为18个点。代表着取到的每个球。 先求两种情况
乱炖：乱炖：混乱但美味
02-21
大丰收，乱炖，是东北著名的中国菜。 适当的英文名称应为 。 但我想称它为“令人愉快的混乱”。 顾名思义，这道菜收集了很多好东西，然后将它们混合在一起，做成了凌乱但超级美味的东西。 我希望这个仓库会变得...
jar包大乱炖
09-19
"jar包大乱炖"这个标题形象地描绘了项目中jar包众多且混杂的状态，它可能包含了各种库、框架和自定义组件。在描述中提到的老项目中，由于jar包不全，开发者面临了问题，因此进行了整理，整合了所有使用的jar包，以供...
RRRoger#FirstProject#乱炖1
07-25
乱炖1）使用 rsync 同步的时候，指定 ssh 的端口rsync -avzP -e 'ssh -p PORT' source_path user@ip:de
「大锅乱炖10大H5前端框架」.docx
12-16
「大锅乱炖10大H5前端框架」.docx
贝叶斯估计
11-27
贝叶斯估计 贝叶斯估计 贝叶斯估计 贝叶斯估计 贝叶斯估计
机器学习之贝叶斯估计.pdf
01-13
机器学习之贝叶斯估计，贝叶斯统计视角下的线性回归实例
贝叶斯估计示例：贝叶斯估计示例的解-matlab开发
05-29
贝叶斯估计示例： 我们使用两个传感器对状态 (x) 进行了两次测量。 x1=3 来自传感器 1，x2=5 来自传感器 2。我们知道传感器 1 具有零均值高斯噪声，方差=1，传感器 2 具有零均值高斯噪声，方差=0.25。 求 x 及其方差的 MMSE 估计。 解决方案：从附加的代码中我们得到： x=4.6 的期望值x=0.2 的方差 这可能与卡尔曼滤波器估计有关： K=1/(1+0.25)=0.8 x=3+K*(5-3)=4.6 P=(1-K)*1=0.2
Commentary.js:Commentary.js 是仿前端乱炖的评注功能插件，可以针对文章的某一处进行评论
06-28
Commentary.js 是仿前端乱炖的评注功能，可以给文章的某一个部分添加评论。 ======= ###使用方法 [removed][removed] [removed][removed] [removed] $('.article').Commentary({ addCommentary : function(element)...
统计学习方法——（第四章）贝叶斯估计与参数估计总结，含MLE、MAP、Bayes例题与推导
weixin_37799689的博客
12-21 7967
一、参数估计 参数估计：在《统计学习方法》经常估计模型中所含有的参数并且模型被一小部分参数所控制，这些参数可以是概率分布也可以是分布的参数值。因此，给定一堆数据，我们希望用一个给定的分布或模型去拟合实际数据分布的时候，就要估计出这些参数的值，以便能够利用分布模型来做密度估计。这就是参数估计！ 参数估计方法：MLE、MAP、Bayes 二、极大似然估计 1、基本思想：最大似然估计的思想是使...
贝叶斯详细分析，详细例子解释
csefrfvdv的博客
08-25 4365
写在前面： 贝叶斯定理算是统计学中特别重要的了，像极大似然估计等一些重要的方法都是基于贝叶斯发展出来的，所以学好贝叶斯基本上可以认识到大半部分的统计知识，而且对数据分析的小伙伴面试有帮助额 一、定义事件A、B 先验概率 P(A) 后验概率P(A|B) 条件似然概率P(B|A) B 的先验概率P(B)，一般称为标淮化常量 贝叶斯公式 P(AB)=P(A|B)*P(B) =P(B|A)*P(A) ...
贝叶斯例题（二）贝叶斯推断
君陌的博客
12-03 3292
第二章 贝叶斯推断 例2.2.2 求二项分布的共轭先验分布贝塔分布的最大后验估计和后验期望估计 解： 对二项分布B(n,θ)B(n,\theta)B(n,θ)，共轭先验分布Be(α,β)Be(\alpha,\beta)Be(α,β) 有后验分布Be(α+x,β+n−x)Be(\alpha+x,\beta+n-x)Be(α+x,β+n−x) 即π(θ∣x)=Γ(α+β)Γ(α)Γ(β)θα−1(1−θ)β−1\pi(\theta|x)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\a
贝叶斯公式实际例子
Meta.Qing的博客
03-28 5905
其次，根据题意，当一个人患有癌症时，有90%的概率检测出来，也就是条件概率P(Positive|Cancer)=0.9。而当一个人不患有癌症时，有95%的概率检测结果为阴性，也就是条件概率P(Negative|Not Cancer)=0.95。因此，当一个人患癌症时，检测结果为阴性的概率就是P(Negative|Cancer)=1-0.9=0.1。需要注意的是，这个例子只是说明了贝叶斯公式的基本应用，实际问题中可能存在更多的复杂因素需要考虑，比如检测结果的假阳性率和假阴性率、人群中癌症发病率的不均等等。
主观贝叶斯推理例题以及代码
最新发布
05-14
主观贝叶斯推理是一种基于贝叶斯公式的推理方法，用于计算给定观察数据的条件下，某个假设是真实的概率。下面给出一个简单的例题和代码示例。 假设有一个袋子，里面有黑球和白球各若干个，但数量不确定。现在从袋子中随机取出一个球，发现是黑球。问在不知道黑白球数量的情况下，袋子中黑白球比例相等的概率有多大？ 根据主观贝叶斯推理的公式： $P(H|E) = \frac{P(E|H)P(H)}{P(E)}$ 其中，$P(H|E)$ 表示在观察到事件 $E$ 发生的条件下，假设 $H$ 成立的概率；$P(E|H)$ 表示在假设 $H$ 成立的条件下，事件 $E$ 发生的概率；$P(H)$ 表示假设 $H$ 成立的先验概率；$P(E)$ 表示事件 $E$ 发生的先验概率。 根据题目描述，$P(H)$ 表示黑白球数量相等的先验概率，可以设为 $0.5$。$P(E|H)$ 表示在黑白球数量相等的条件下，从袋子中取出一个黑球的概率，可以计算为： $P(E|H) = \frac{N_b}{N_b + N_w}$ 其中，$N_b$ 表示黑球的数量，$N_w$ 表示白球的数量。 $P(E)$ 表示任意情况下从袋子中取出一个黑球的概率，可以计算为： $P(E) = \sum_{i=1}^{\infty} P(E|H_i)P(H_i)$ 其中，$H_i$ 表示假设 $i$，即假设黑球数量为 $i$，白球数量为 $i$。由于 $H_i$ 是一个无穷序列，可以先设定一个上限 $N$，然后计算 $i$ 从 $1$ 到 $N$ 的值。 最终，$P(H|E)$ 表示在观察到取出黑球的条件下，假设黑白球数量相等的概率，可以计算为： $P(H|E) = \frac{P(E|H)P(H)}{P(E)}$ 下面是 Python 代码示例： ```python import numpy as np # 假设黑白球数量相等的先验概率 p_h = 0.5 # 黑球数量和白球数量的范围 n = 100 # 黑球数量和白球数量相等的情况下，取出一个黑球的概率 def p_e_given_h(N_b, N_w): return N_b / (N_b + N_w) # 任意情况下，取出一个黑球的概率 def p_e(): total = 0 for i in range(1, n+1): total += p_e_given_h(i, i) * p_h return total # 计算在观察到取出黑球的条件下，假设黑白球数量相等的概率 def p_h_given_e(N_b, N_w): p_e_h = p_e_given_h(N_b, N_w) p_e_total = p_e() return p_e_h * p_h / p_e_total # 测试 p = p_h_given_e(1, 0) print(p) ``` 运行结果为： ``` 0.3333333333333333 ``` 表示在观察到取出黑球的条件下，假设黑白球数量相等的概率为 $1/3$。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值