机器学习（五）：贝叶斯学习

机器学习系列主要为 我在国科大研一期间，在《机器学习方法与应用》课程中所学知识概述，以及课后补充学习的内容。

----------------------------------------------------------------------------------------------------------------------------------

先验概率：用P（h）表示在没有观察到训练数据之前假设h拥有的初始概率，P（h）被称为假设h的先验概率。先验概率反映了关于假设h是一正确假设的机会的背景知识，如果没有这一先验知识，可以简单的将每一候选假设赋予相同的先验概率。

P(D)表示训练数据D的先验概率，那么P(D|h)就表示假设h成立时D的概率

在分类中，我们关系的是给定D时的h概率，即给定D，h成立的概率P(h|D)。称为h的后验概率。

计算概率的基本公式：

交换规则 P(A,B) = P(B,A) 

乘法规则 P(A,B) = P(A|B)P(B) = P(B|A)P(A) = P(B,A)

A,B,C,D 4个变量联合发生的概率 ：P(A,B,C,D) = P(A|B,C,D)P(B|C,D)P(C|D)P(D)

贝叶斯定理 P(h|D) = P(D|h)P(h)/P(D)

全概率法则：如果实践A1,A2,...,An互斥，且满足概率和为1，P(B)= P(B|A1)P(A1) + P(B|A2)P(A2) + ... + P(B|An)P(An)

贝叶斯网络（贝叶斯信念网）&#