贝叶斯决策论(后验概率最大化)的问题

在看待解决一分类问题时候,在相关概率已知的条件下,贝叶斯决策论考虑如何基于这些概率把(期望损失)风险 降到最低,从而得到最优的类别标记,即 期望风险最小化

假设由 N N N种可能的类别标记为 y = { c 1 , c 2 . . . c n } y=\{c_1,c_2...c_n\} y={c1,c2...cn} λ i j \lambda_{ij} λij是一个将真实标记为 c j c_j cj误分类为 c i c_i ci所产生的损失,则基于后验概率 P ( c i ∣ x ) P(c_i|x) P(cix)可得到将样本分类为 c i c_i ci的风险,即在样本上面的条件风险,可表示为: R ( c j ∣ x ) = ∑ j = 1 N λ i j P ( c i ∣ x ) , 其 中 λ i j = 0 , i f   i = j   ; λ i j = 1 , o t h e r w i s e ; R(c_j|x)=\sum_{j=1}^N \lambda_{ij}P(c_i|x),其中\lambda_{ij}=0,if\ i=j\ ;\lambda_{ij}=1, otherwise; R(cjx)=j=1NλijP(cix)λij=0,if i=j ;λij=1,otherwise;
显然 i = j i=j i=j时分类正确,风险为0,如若分类错误则在风险会随后验概率 P ( c i ∣ x ) P(c_i|x) P(cix)的变化而变化,即基于后验概率 P ( c i ∣ x ) P(c_i|x) P(cix)预测错误类别的概率越大风险越大。

以上为样本 x x x一条样本产生的风险, E E E表示总体样本集合,则总体风险可表示为: R ( h ) = E x [ R ( h ( x ) ∣ x ) ] = E x [ ∑ j = 1 N λ i j P ( c i ∣ x ) ] R(h)=E_x[R(h(x)|x)]=E_x[\sum_{j=1}^N \lambda_{ij}P(c_i|x)] R(h)=Ex[R(h(x)x)]=Ex[j=1NλijP(cix)]
显然我们如果能最小化条件风险,则总体风险自然也将最小化,下面是 x x x 样本期望风险最小化过程:
在这里插入图片描述
以上我么由 期望风险最小化 进而得出 后验概率最大化准则,这就是朴素贝叶斯法所采用的原理。即我们只需要去求: h ∗ ( x ) = a r g m a x P ( c ∣ x ) = a r g m a x P ( c ) P ( x ∣ c ) P ( x ) , c ∈ y h^*(x)=argmaxP(c|x)=argmax\frac{P(c)P(x|c)}{P(x)}, c\in y h(x)=argmaxP(cx)=argmaxP(x)P(c)P(xc),cy
即可求得最优的类别标记。

朴素贝叶斯详细内容可参考:https://blog.csdn.net/H_hei/article/details/84327975


仅为个人的浅显理解,欢迎大家指正交流。

  • 4
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
第1章 贝叶斯定理 1 1.1 条件概率 1 1.2 联合概率 2 1.3 曲奇饼问题 2 1.4 贝叶斯定理 3 1.5 历时诠释 4 1.6 M&M豆问题 5 1.7 Monty Hall难题 6 1.8 讨论 8 第2章 统计计算 9 2.1 分布 9 2.2 曲奇饼问题 10 2.3 贝叶斯框架 11 2.4 Monty Hall难题 12 2.5 封装框架 13 2.6 M&M豆问题 14 2.7 讨论 15 2.8 练习 16 第3章 估计 17 3.1 骰子问题 17 3.2 火车头问题 18 3.3 怎样看待先验概率? 20 3.4 其他先验概率 21 3.5 置信区间 23 3.6 累积分布函数 23 3.7 德军坦克问题 24 3.8 讨论 24 3.9 练习 25 第4章 估计进阶 27 4.1 欧元问题 27 4.2 后验概率的概述 28 4.3 先验概率的湮没 29 4.4 优化 31 4.5 Beta分布 32 4.6 讨论 34 4.7 练习 34 第5章 胜率和加数 37 5.1 胜率 37 5.2 贝叶斯定理的胜率形式 38 5.3 奥利弗的血迹 39 5.4 加数 40 5.5 最大化 42 5.6 混合分布 45 5.7 讨论 47 第6章 决策分析 49 6.1 “正确的价格”问题 49 6.2 先验概率 50 6.3 概率密度函数 50 6.4 PDF的表示 51 6.5 选手建模 53 6.6 似然度 55 6.7 更新 55 6.8 最优出价 57 6.9 讨论 59 第7章 预测 61 7.1 波士顿棕熊队问题 61 7.2 泊松过程 62 7.3 后验 63 7.4 进球分布 64 7.5 获胜的概率 66 7.6 突然死亡法则 66 7.7 讨论 68 7.8 练习 69 第8章 观察者的偏差 71 8.1 红线问题 71 8.2 模型 71 8.3 等待时间 73 8.4 预测等待时间 75 8.5 估计到达率 78 8.6 消除不确定性 80 8.7 决策分析 81 8.8 讨论 83 8.9 练习 84 第9章 二维问题 85 9.1 彩弹 85 9.2 Suite对象 85 9.3 三角学 87 9.4 似然度 88 9.5 联合分布 89 9.6 条件分布 90 9.7 置信区间 91 9.8 讨论 93 9.9 练习 94 第10章 贝叶斯近似计算 95 10.1 变异性假说 95 10.2 均值和标准差 96 10.3 更新 98 10.4 CV的后验分布 98 10.5 数据下溢 99 10.6 对数似然 100 10.7 一个小的优化 101 10.8 ABC(近似贝叶斯计算) 102 10.9 估计的可靠性 104 10.10 谁的变异性更大? 105 10.11 讨论 107 10.12 练习 108 第11章 假设检验 109 11.1 回到欧元问题 109 11.2 来一个公平的对比 110 11.3 三角前验 111 11.4 讨论 112 11.5 练习 113 第12章 证据 115 12.1 解读SAT成绩 115 12.2 比例得分SAT 115 12.3 先验 116 12.4 后验 117 12.5 一个更好的模型 119 12.6 校准 121 12.7 效率的后验分布 122 12.8 预测分布 123 12.9 讨论 124 第13章 模拟 127 13.1 肾肿瘤的问题 127 13.2 一个简化模型 128 13.3 更普遍的模型 130 13.4 实现 131 13.5 缓存联合分布 132 13.6 条件分布 133 13.7 序列相关性 135 13.8 讨论 138 第14章 层次化模型 139 14.1 盖革计数器问题 139 14.2 从简单的开始 140 14.3 分层模型 141 14.4 一个小优化 142 14.5 抽取后验 142 14.6 讨论 144 14.7 练习 144 第15章 处理多维问题 145 15.1 脐部细菌 145 15.2 狮子,老虎和熊 145 15.3 分层版本 148 15.4 随机抽样 149 15.5 优化 150 15.6 堆叠的层次结构 151 15.7 另一个问题 153 15.8 还有工作要做 154 15.9 肚脐数据 156 15.10 预测分布 158 15.11 联合后验 161 15.12 覆盖 162 15.13 讨论 164
PyTorch是一个基于Python的机器学习库,可以用来实现贝叶斯决策模型。 贝叶斯决策模型是一种统计学方法,基于贝叶斯定理来进行决策。它能够将先验知识和观测数据相结合,不断更新模型的参数,从而得到后验概率,用于决策。 要使用PyTorch实现贝叶斯决策模型,可以按照以下步骤进行: 1. 数据准备:收集和整理用于训练和测试的数据集。对于贝叶斯决策模型,通常需要一个带有标签的数据集作为训练样本。 2. 模型定义:使用PyTorch定义一个贝叶斯模型,可以使用不同的概率分布作为先验分布。例如,可以使用高斯分布作为参数的先验分布。 3. 参数更新:使用给定的训练样本来更新模型的参数。可以使用不同的优化算法,如随机梯度下降(SGD)或Adam来优化模型。 4. 后验计算:使用贝叶斯定理,在给定观测数据的条件下,计算后验概率分布。这可以通过模型参数的更新来实现。 5. 决策:根据后验概率分布,进行决策。可以选择概率最大的类别作为预测结果。 PyTorch提供了丰富的工具和库,用于定义和训练深度学习模型,包括贝叶斯决策模型。通过使用PyTorch的张量操作和自动求导功能,可以方便地构建和优化贝叶斯模型。同时,PyTorch还提供了一些可视化工具,用于分析和评估数据和模型的性能。 总之,使用PyTorch可以很方便地实现贝叶斯决策模型,并将其应用于各种机器学习任务,包括分类、回归和聚类等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值