Bayesian 6 days 学习笔记---day1.part1

贝叶斯框架

条件和边缘分布 

条件分布 = 联合/边缘         

产品规则：任何联合分布都可以表示为一维条件分布的乘积

求和规则：通过整合不必要的变量，可以从联合分布中获得任何边际分布

Arbitrary conditioning 任意调节

• 假设我们有三组变量p（X，Y，Z）的联合分布
• 我们观察Z并且对预测X感兴趣
• Y的值是未知的，与我们无关
• 如何从p（X，Y，Z）估计p（X|Z）？ 

 

求和规则允许至少在理论上构建任意条件分布

贝叶斯定理

条件反转（遵循产品规则）： 

贝叶斯定理（遵循条件反演和求和规则）

贝叶斯定理定义了新信息到来时不确定性转换的规则

posterior 后验

Statistical inference统计推断

考虑统计推断的标准问题。 鉴于i.i.d. 数据X =（x1，... Xn）来自分布p（x |θ），需要估计θ 

最大似然估计（MLE）：

贝叶斯推理：用分布p（θ）编码关于θ的不确定性并应用贝叶斯推理

Bayesian framework

• 根据分布编码无知
• 使用贝叶斯定理

• 后验可以作为新的先验，即可以组合多种型号！
• BigData：我们可以在更新和忘记的基础上处理数据流
• 支持分布式处理

贝叶斯推断

• 考虑盲人wisdomers谁试图估计使用他们的触觉测量大象的重量。 
• 他们从关于动物典型质量p（θ）的常识开始
• 第一wisdomer触摸尾

• 第二wisdomer触摸腿，并使用P（θ| X1）作为他的先验

• 最后它们形成了尖锐的分布P（θ| x1，... xm）

Training Bayesian models

• 假设我们得到训练数据（Xtr，Ttr）和判别模型p（T，W | X）
• 在训练阶段，我们对W执行贝叶斯推理：

• 从而获得算法集合而不是单个算法
• 在测试阶段，新数据x到达，我们需要计算其隐藏值t的预测分布
• 为此，我们执行w.r.t. 在重量W后面

• 集成确实有助于并优于模型中的单个最佳算法
• 后验p（W | Xtr，Ttr）包含有关模型可以提取的X和T之间的依赖关系的所有信息
• 如果新的标记数据（X'tr, T'tr）到达，我们可以跳过旧的训练数据并仅使用p（W | Xtr，Ttr）作为新的先验数据在新数据上更新我们的算法

共轭分布

• 分布p（y）和y）是共轭的iff p（ylx）属于与p（y）相同的参数族，即

• 在这种情况下，贝叶斯推断可以以封闭的形式完成
• 我们不需要估计归一化常数，因为A中的任何分布都是归一化的
• 我们所要做的就是计算α'

示例：Beta-Bernoulli模型

• 简化的概率建模
• 具有δ函数δ的近似后验p（W | Xtr，Ttr）（W - Wmp）
• 对应于W的点估计：

推理更简单

贝叶斯框架的优点

• 正则
• 潜变量建模（讲座2）
• 可延伸性
• 可扩展性（讲座5） 

正则

• 通过在权重θ上建立先验，我们可以规范最大似然估计 

• 防止过度拟合
• 我们可以通过执行贝叶斯模型选择自动设置最佳先验

潜变量建模

• 我们可以构建具有在训练阶段未知的潜在变量的模型
• 允许处理丢失的数据
• 允许构建和训练更复杂的混合模型 

可扩展性

• 贝叶斯方法传统上被认为是计算上昂贵的
  最近情况发生了巨大变化
  用于可扩展变分近似和MCMC算法的新数学工具（讲座3,4,14,15）
  现在适用于大型数据集和高维度

结论

• 贝叶斯框架是构建概率模型的另一种方法
• 与传统模型相比，贝叶斯ML具有多个优势
• 它不会与频率框架相矛盾或否定 - 这只是数据科学家的另一个工具