MLAPP 第三章

MLAPP —— 第三章 Generative models for discrete data

 参考博客

内容逐渐硬核……参考博客对第三章内容做了大致的翻译，这里补充一下自己的理解。

• 本章的主要内容是：借助贝叶斯公式，推断概率模型中的参数，进一步地，在已经观测到的数据集的基础上，对新观测到的数据进行预测。

本章从几个实际例子出发，解释了先验、似然、后验、MAP、MLE等一系列基本概念。原书中有许多例子，实际要表达的基础概念和通法是一致的，碍于篇幅，这里只罗列前两个例子。

例子1：数字游戏——Bayesian concept learning

给定一个观测数字集合，然后给一个新的数字，预测其是否属于，或者有多大概率属于。

• 假设空间

例如给定，则我们可能会猜测：数据集可能是偶数集合、也可能是4的倍数集合、也可能是个位数为6的整数的集合，等等——这些猜测便构成了假设空间（hypothesis space）。

• 似然（Likelihood）

假设空间里有多种假设，我们固定一种假设，在该假设下，抽样得到观测数据集的条件概率为：&#