chap1 introduction笔记

Bayesian interpretation of probability

与其说是贝叶斯学派对“概率”这个概念的解释，不如说是概率碰巧可以作为量化贝叶斯学派“degree of belief”这个概念的手段。 贝叶斯学派的出发点是“uncertainty”这个概念，对此给予“degree of belief”以表示不确定性。
Cox showed that if numerical values are used to represent degrees of belief, then a simple set of axioms encoding common sense properties of such beliefs leads uniquely to a set of rules for manipulating degrees of belief that are equivalent to the sum and product rules of probability.
因此之故，我们才可以 use the machinery of probability theory to describe the uncertainty in model parameters.

对parameter的观点，以及Bayesian对先验、后验概率的解释

对于Frequentist来说，model parameter w是一个fixed的量，用“estimator”来估计;最常
见的 estimator 是 likelihood。

对 Bayesian 来说，w 本身是一个不确定量，其不确定性用 prior probability p(w)表示。
为了获知 fixed 的 w，Frequentist 进行重复多次的试验，获得不同的 data sets D;
对于 Bayesian 而言，there is only a single data set D, namely the one that is actually observed. 在得到一个 observation D 后，贝叶斯学派要调整原来对于 w 的 belief(prior probability)，用 后验概率 P(w|D)表示调整后的 belief。调整的方法是贝叶斯定理。
Bayesian 的中心定理是贝叶斯定理，该定理 convert a prior probability into a posterior probability by incorporating the evidence provided by the observed data。其中的条件概率 P(D|w) 表示的是，how probable the observed data set is for different settings of parameter vector w。

理解后验概率:即修正后的先验概率。例如，有 C1,…,Ck 个类别，先验为 P(C1)，…， P(Ck)，这个时候如果给一个未知类别的数据让我们猜它是哪个类别，显然应该猜先验概率 最大的那个类别。在观察到数据 x 后，计算后验概率 P(C1|x)，…，P(Ck|x);于是此时的“先 验”修正为 P’(C1)=P(C1|x)，…，P’(Ck)=P(Ck|x)。如果现在再来一个未知类别的数据让我们猜，我们猜的方法仍旧是找先验概率最大的那个类别，只不过此时的先验概率是 P’(C1)，…， P’(Ck)。

Bayesian和Frequentist的缺点

Bayesian常受的批评之一:
prior distribution is often selected on the basis of ma