贝叶斯估计(1):期末大乱炖

写在前面!

目录

写在前面!

​编辑

1 先验分布和后验分布

求后验分布!!!

【1】连续时(先验分布)

​编辑

【2】离散

​编辑

共轭先验分布

【1】正态分布[指的是样本]的共轭先验分布[先验和后验都是]是正态分布(之间的关系)

【2】二项分布中的成功概率​编辑的共轭先验分布式贝塔分布

【3】泊松分布的均值​编辑的共轭先验分布是伽马分布

贝塔分布

伽马分布

先验分布超参数的确定

充分统计量【更方便的计算出后验分布!】

2 贝叶斯推断

2.1 条件方法

2.2 估计

2.2.1 贝叶斯估计

例题1

例题2

例题3

例题4

2.2.2 贝叶斯误差估计

例题1  !!!!(先验分布是离散的)

例题2 (先验分布是连续的贝塔分布)

2.3 区间估计

例题1

2.4 假设检验

2.4.1 假设检验

例题1

2.4.2 贝叶斯因子

2.4.3 简单对简单【先计算贝叶斯因子】

例题1

2.4.4 复杂对复杂【计算后验概率比】

例题2

2.4.5 简单对复杂【先计算贝叶斯因子】

例题3

2.4.6 多重假设检验

例题4 

2.5 预测

例题5

2.6 似然原理

3 先验分布的确定

3.1 主观概率

3.2 利用先验信息

3.2.1 直方图法(微重要)

例题1

3.2.2 选定先验密度函数形式再估计其超参数

例题1延续

例题2

3.2.3 定分位度法和变分位度法【了解即可】

3.3 利用边缘分布确定先验分布

3.3.1 可直接求出边缘分布

例题1

3.3.2 混合分布下求出边缘分布类似加权求和

例题2

3.3.3 先验选择的ML-LL方法

例题3 延续3.3.1的例题1

3.3.4 先验选择的矩方法

例题4

3.4 无信息先验分布

4 决策中的收益、损失与效用

4.1 决策问题的三要素

4.2 决策准则

4.2.1 行动的容许性

例题1

4.2.2 决策准则【只使用先验信息】

【1】乐观准则(大中选大)

【2】悲观准则(小中选大)

【3】折中准则(加权)

例题

4.3 先验期望准则

例题

例题

4.3.2 两个性质

4.4 损失函数

4.4.1 从收益到损失

例题【由收益矩阵得到损失矩阵】

例题(已知收益函数的表达式求损失函数!)

4.4.2 损失函数下的悲观准则

例题(收益和损失悲观)

例题

4.4.3 损失函数下的先期望准则

例题

课本【P141】

例题p142

4.5 常用损失函数

4.5.1 常用损失函数

【1】平均损失函数

【2】线性损失函数

【3】0-1损失函数

【4】多元二次损失函数

【5】二行动线性决策问题的损失函数

例题【后序步骤和5.1 中的例题是一样的!】

5 贝叶斯决策

5.1 贝叶斯决策问题定义

优缺点

例题5.1.1P163!!!

5.2 后验风险准则【贝叶斯准则是使用这个的】

5.2.1 后验风险

例题【贝叶斯决策】!!!!!

【1】第四章

【3】贝叶斯

5.2.2 决策函数

5.2.3 后验风险准则

例题5.2.3

例题5.2.4

5.3 常用损失函数下的贝叶斯估计!!!!

5.3.1 平方损失函数下的贝叶斯估计

【1】定理1在平均损失下

【2】定理2在加权平方损失

【3】定理3在多元二次损失函数

例题5.3.1

5.3.2 线性损失函数下的贝叶斯估计

【1】定理1

例题5.3.6

5.3.3 有限个行动问题的假设检验

 6 统计决策理论

6.1 风险函数

6.1.1 风险函数

6.1.2 决策函数的最优性

6.1.3 统计决策中的点估计问题

6.1.4 统计决策中的区间估计问题

6.2 容许性

例题

6.3 最小最大准则

例题

例题


1 先验分布和后验分布

三种信息:总体信息、样本信息、先验信息

总体信息:“总体是正态分布”;样本信息:总体抽取的样本提供的信息,是最新鲜的信息;先验信息:在抽样之前就知道的关于统计问题的一些信息【来源于历史资料等】

贝叶斯公式

离散形式:

几个公式:

先验分布:

样本信息的综合:

三个信息的综合:

\theta进行估计:

求后验分布!!!
【1】连续时(先验分布)

(1)写出先验分布,如果不知道按照均匀分布处理

(2)计算样本X 和参数\theta的联合分布

样本似然函数 乘以 先验信息密度函数

(3)计算X的边际密度【m(x)】

(4)利用贝叶斯公式得到\theta的后验分布

所以\theta的范围在这里就是 大于样本数的的最大值-0.5 小于最小值+0.5

这样就定下了\theta的取值范围咯!!!!

具体视频启发见:已知观测值求后验分布-哔哩哔哩_bilibili

【2】离散

共轭先验分布

【1】正态分布[指的是样本]的共轭先验分布[先验和后验都是]是正态分布(之间的关系)

【2】二项分布中的成功概率\theta的共轭先验分布式贝塔分布

【3】泊松分布的均值\lambda的共轭先验分布是伽马分布

二项分布的进化,X是发生的次数,那么当抽取样本时,n\bar{x}就是总次数!!!!【可见例题5.3.1】

贝塔分布

伽马分布

特例:

先验分布超参数的确定

【1】利用先验矩

【2】利用先验分位数

【3】利用先验矩和先验分位数

充分统计量【更方便的计算出后验分布!】

作用:

应用:

p(x|\theta)是没有办法计算出来的因为,不知道具体取值的情况,但是p(\bar{x}|\theta)是知道的

2 贝叶斯推断

存在意义:

2.1 条件方法

2.2 估计

2.2.1 贝叶斯估计

例题1

例题2

例题3

贝叶斯假设 是假设\theta是均匀分布,当都为1 的时候贝塔分布退化成均匀分布

例题4

最大的取值不能超过观察值哦!!!

2.2.2 贝叶斯误差估计

后验均方误差的均值!

例题1  !!!!(先验分布是离散的)

后验密度达到最大的时候所对应的\theta 是最大后验估计

后验分布期望值是后验分布均值

例题2 (先验分布是连续的贝塔分布)

众数算出来的值其实就是贝塔分布函数达到最大时自变量的取值!!!!

2.3 区间估计

不用寻找枢轴量直接用后验分布就可以!!

例题1

110.38-1.96*8.32 = 94.07

110.38+1.96*8.32 = 126.69

2.4 假设检验

2.4.1 假设检验

接受最大后验概率的假设!!!!

例题1

计算出后验分布!!

均匀

2.4.2 贝叶斯因子

后验概率比较的方法!

后验机会比、前验机会比!可见2.4.4 例题2

贝叶斯因子表示数据X支持原假设的程度!

2.4.3 简单对简单【先计算贝叶斯因子】

例题1

2.4.4 复杂对复杂【计算后验概率比】

例题2

不用计算器的话:就是先标准化然后查表!

贝叶斯因子小这就不可以!

2.4.5 简单对复杂【先计算贝叶斯因子】

例题3

2.4.6 多重假设检验

例题4 

谁大接受谁!

2.5 预测

例题5

2.6 似然原理

3 先验分布的确定

3.1 主观概率

3.2 利用先验信息

3.2.1 直方图法(微重要)

例题1

3.2.2 选定先验密度函数形式再估计其超参数

通过矩估计的方法!

例题1延续

例题2

3.2.3 定分位度法和变分位度法【了解即可】

3.3 利用边缘分布确定先验分布

3.3.1 可直接求出边缘分布

例题1

让m(x)达到最大时 ,求出两个超参数的值

3.3.2 混合分布下求出边缘分布类似加权求和

例题2

3.3.3 先验选择的ML-LL方法

例题3 延续3.3.1的例题1

样本是从边缘分布里抽出来的当然可以用于边缘分布超参数的估计!!!!!

3.3.4 先验选择的矩方法

可通过公式进行简化计算!

\mu _m(\lambda ) = E^{\theta |\lambda }[\mu (\theta ))]

目标是求出\lambda

例题4

到此为止吧,我看不懂.....服了

3.4 无信息先验分布

4 决策中的收益、损失与效用

4.1 决策问题的三要素

4.2 决策准则

4.2.1 行动的容许性

例题1

4.2.2 决策准则【只使用先验信息】

【1】乐观准则(大中选大)

【2】悲观准则(小中选大)

【3】折中准则(加权)

例题

4.3 先验期望准则

使先验平均收益达到最大的行动a

例题

例题

这个只计算均值时发现有两个最优行动,因此再计算方差 选择方差小的!!!

P134【课本】

4.3.2 两个性质

都加不变,同一个状态的一行加一样的数不变!

4.4 损失函数

损失函数:“没有转到该赚到的钱!”

4.4.1 从收益到损失

例题【由收益矩阵得到损失矩阵】

损失为,当前位 与赚最多钱时的差距!(状态是一定的!!!)

也是一个状态一算!

例题(已知收益函数的表达式求损失函数!)

\theta进行积分得到关于a的表达式,然后求出这个表达式的最小值!!!

4.4.2 损失函数下的悲观准则

例题(收益和损失悲观)

注意悲观准则在 收益函数中时(小中选大);在 损失函数中时(大中选小)

用损失函数进行决策合理一点!

例题

4.4.3 损失函数下的先期望准则

例题

课本【P141】

例题p142

4.5 常用损失函数

4.5.1 常用损失函数

【1】平均损失函数

【2】线性损失函数

【3】0-1损失函数

【4】多元二次损失函数

【5】二行动线性决策问题的损失函数

例题【后序步骤和5.1 中的例题是一样的!】

先求平衡值就是相等的时候\theta的取值!

5 贝叶斯决策

5.1 贝叶斯决策问题定义

先验信息和样本信息 都使用的决策问题!

按照后验平均损失最小 得到贝叶斯决策

优缺点

例题5.1.1P163!!!

让先验期望损失最小是第四章,把\theta弄没,离散的时候是相乘

贝叶斯要在这个机会基础上基础上进行抽样!

5.2 后验风险准则【贝叶斯准则是使用这个的】

5.2.1 后验风险

例题【贝叶斯决策】!!!!!

【1】第四章

【3】贝叶斯

后验分布!:

损失函数的计算后的个数等于:x的取值【抽样后数据的情况】*行动的个数!

损失函数:

行动2:变成只拿出箱子里的两个进行检查 那么需要支付1.6元,然后如果再进行赔偿!

5.2.2 决策函数

5.2.3 后验风险准则

例题5.2.3

例题5.2.4

5.3 常用损失函数下的贝叶斯估计!!!!

5.3.1 平方损失函数下的贝叶斯估计

【1】定理1在平均损失下

【2】定理2在加权平方损失

【3】定理3在多元二次损失函数

例题5.3.1

5.3.2 线性损失函数下的贝叶斯估计

【1】定理1

例题5.3.6

后验分布的积分是1

5.3.3 有限个行动问题的假设检验

 6 统计决策理论

只使用样本信息!

6.1 风险函数

6.1.1 风险函数

6.1.2 决策函数的最优性

6.1.3 统计决策中的点估计问题

6.1.4 统计决策中的区间估计问题

6.2 容许性

例题

6.3 最小最大准则

例题

例题

主观贝叶斯推理是一种基于贝叶斯公式的推理方法,用于计算给定观察数据的条件下,某个假设是真实的概率。下面给出一个简单的例题和代码示例。 假设有一个袋子,里面有黑球和白球各若干个,但数量不确定。现在从袋子中随机取出一个球,发现是黑球。问在不知道黑白球数量的情况下,袋子中黑白球比例相等的概率有多大? 根据主观贝叶斯推理的公式: $P(H|E) = \frac{P(E|H)P(H)}{P(E)}$ 其中,$P(H|E)$ 表示在观察到事件 $E$ 发生的条件下,假设 $H$ 成立的概率;$P(E|H)$ 表示在假设 $H$ 成立的条件下,事件 $E$ 发生的概率;$P(H)$ 表示假设 $H$ 成立的先验概率;$P(E)$ 表示事件 $E$ 发生的先验概率。 根据题目描述,$P(H)$ 表示黑白球数量相等的先验概率,可以设为 $0.5$。$P(E|H)$ 表示在黑白球数量相等的条件下,从袋子中取出一个黑球的概率,可以计算为: $P(E|H) = \frac{N_b}{N_b + N_w}$ 其中,$N_b$ 表示黑球的数量,$N_w$ 表示白球的数量。 $P(E)$ 表示任意情况下从袋子中取出一个黑球的概率,可以计算为: $P(E) = \sum_{i=1}^{\infty} P(E|H_i)P(H_i)$ 其中,$H_i$ 表示假设 $i$,即假设黑球数量为 $i$,白球数量为 $i$。由于 $H_i$ 是一个无穷序列,可以先设定一个上限 $N$,然后计算 $i$ 从 $1$ 到 $N$ 的值。 最终,$P(H|E)$ 表示在观察到取出黑球的条件下,假设黑白球数量相等的概率,可以计算为: $P(H|E) = \frac{P(E|H)P(H)}{P(E)}$ 下面是 Python 代码示例: ```python import numpy as np # 假设黑白球数量相等的先验概率 p_h = 0.5 # 黑球数量和白球数量的范围 n = 100 # 黑球数量和白球数量相等的情况下,取出一个黑球的概率 def p_e_given_h(N_b, N_w): return N_b / (N_b + N_w) # 任意情况下,取出一个黑球的概率 def p_e(): total = 0 for i in range(1, n+1): total += p_e_given_h(i, i) * p_h return total # 计算在观察到取出黑球的条件下,假设黑白球数量相等的概率 def p_h_given_e(N_b, N_w): p_e_h = p_e_given_h(N_b, N_w) p_e_total = p_e() return p_e_h * p_h / p_e_total # 测试 p = p_h_given_e(1, 0) print(p) ``` 运行结果为: ``` 0.3333333333333333 ``` 表示在观察到取出黑球的条件下,假设黑白球数量相等的概率为 $1/3$。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值