贝叶斯模型比较

(学习这部分内容大约需要2.7小时)

摘要

贝叶斯模型比较框架基于计算边际似然大小来比较概率模型, 或者比较积分掉所有参数后, 模型生成给定数据的概率. 模型参数的marginalization实现了一种"奥卡姆剃刀"效应. 边际似然也可以被用于使用贝叶斯规则计算模型后验.

预备知识

这个概念需要以下预备知识:

• 贝叶斯参数估计: 大多数的贝叶斯模型比较也需要用到贝叶斯参数估计
• 贝叶斯规则: 贝叶斯规则用于从先验和似然计算后验

学习目标

• 知道模型的边际似然是什么
• 根据贝叶斯因子诱导边际似然
• 理解"贝叶斯奥卡姆剃刀"效应的基础(提示: 这并不仅仅是给带更多参数的模型赋予比较低的先验概率, 虽然很多人是这么认为的)
• 对于简单的模型推导贝叶斯因子(比如, beta-Bernoulli模型)

核心资源

(阅读/观看其中之一)

免费

• Information Theory, Inference, and Learning Algorithms
  简介: 一本机器学习和信息论的研究生教材
  Section 28.1, "Occam's razor," pages 343-349
  Section 28.2, "Example," pages 349-351
  [网站]
  作者: David MacKay

付费

• Machine Learning: a Probabilistic Perspective(MLAPP)
  简介: 一本非常全面的研究生机器学习教材
  位置: Section 5.3, pages 155-165
  [网站]
  作者: Kevin P. Murphy

增补资源

(下面的内容是可选的, 但你可能发现它们很有用)

付费

• Pattern Recognition and Machine Learning(PRML)
  简介: 一本研究生机器学习教材, 专注贝叶斯方法
  位置: Section 3.4, pages 161-165
  [简介]
  作者: Christopher M. Bishop

相关概念

• 从贝叶斯的角度来说, 对多个模型进行平均会优于选择一个模型. 这便是贝叶斯模型平均Bayesian model averaging ).
• 一些估计贝叶斯因子的一般方法包括:
  • sequential Monte Carlo
  • Markov chain Monte Carlo (MCMC)
  • 变分贝叶斯(variational Bayes)

---

返回贝叶斯机器学习路线图