PRML读书会第二章 Probability Distributions(贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等)

主讲人 网络上的尼采

（新浪微博:@Nietzsche_复杂网络机器学习）

网络上的尼采(813394698) 9:11:56 

开始吧，先不要发言了，先讲PRML第二章Probability Distributions。今天的内容比较多，还是边思考边打字，会比较慢，大家不要着急，上午讲不完下午会接着讲。
顾名思义，PRML第二章Probability Distributions的主要内容有：伯努利分布、 二项式 –beta共轭分布、多项式分布 -狄利克雷共轭分布 、高斯分布 、频率派和贝叶斯派的区别联系 、指数族等。
先看最简单的伯努利分布：

最简单的例子就是抛硬币，正反面的概率。
再看二项式分布：

抛N次有m次是正面或反面的概率，所以伯努利分布是二项式分布的特例。

向大家推荐一本好书，陈希孺的《数理统计简史》，对数理统计的一些基本东西的来龙去脉介绍的很详细，这样有助于理解。先818二项式分布，正态分布被发现前，二项式分布是大家研究的主要内容。
由二项式分布可以推出其他很多分布形式，比如泊松定理：

泊松分布是二项式分布的极限形式，这个估计大家都推导过。由二项式分布也能推出正态分布。
贝叶斯思想也是当时对二项式分布做估计产生的，后来沉寂了一百多年。

数据少时用最大似然方法估计参数会过拟合，而贝叶斯方法认为模型参数有一个先验分布，因此共轭分布在贝叶斯方法中很重要，现在看二项式分布的共轭分布beta分布：

结合上面的二项式分布的形式，不难看出beta分布和二项式分布的似然函数有着相同的形式，这样用beta分布做二项式分布参数的先验分布，乘似然函数以后得到的后验分布依然是beta分布。
a b是超参，大家可以看到beta分布的形式非常灵活：