"模式识别与机器学习"读书笔记——2.1 Binary Variables

从最简单的变量谈起——一位二进制变量（只有0/1两种值）。

典型例子翻硬币，假设人头朝上的概率为u，作为这个模型的参数，则其概率分布为：

这个分布也称Bernoullo distribution，期望方差为：

如果有一组观察数据D={x1,x2,...,xn}，则这组观察数据出现的概率为：

选择u的依据就是，让上面这个概率最大化，方法还是那个取对数，再求导令其等于0，得到p最大时：

所以如果测试数据中人头出现了m次，则

此外，当给定一个u时，我们还可以求出关于m的概率分布，就是求出人头出现0次、1次、2次……N次得概率分别是多少。
要点是需要normalize以下，保证归一性。

人头出现m次得概率为：

其中

2.1.1 The beta distribution

用前面那个方法会出现over=fitted问题，即如果三次银币都正面朝上，用上述方法判断，下次硬币一定也朝上，这不符合实际。

采用的办法时引入prior distribution，相当于人为的调整了。

这里引入的prior distribution是beta distribution:

其中叫gamma function，是在上一章作业中出现的。

注意这个beta distribution的形式与那个m的分布式一样的，都是，这叫做共轭性（conjugacy），这样prior,posterior,liklihood的形式就都一样了，无论是计算还是设想实际意义都更简单了。

修正后的分布的求法就是把prior与上一节那个m分布式相乘，由于他们是共轭的，其实就是指数的叠加或图形的叠加，最终形式是：

知道了u的概率后，如果想预测下一次翻硬币哪面朝上，方法为：

用现有结论可以推出：