PRML读书笔记——概率分布

本章主要介绍各种概率分布，包括伯努利分布、Beta分布、狄利克雷分布、高斯分布（重点）、指数族分布和非参数化方法估计的概率分布等。最后简单介绍了KL散度、计算学习理论和VC维的概念。

二元变量

(1) 伯努利分布

考虑一个二元变量$x \in \left\{ 0,1\right\}$，然后假设有一个抛硬币的场景与之对应，假设硬币正面向上（$x=1$）的概率为$u$，则硬币正面向下（$x=0$）的概率为$1-u$则，得到伯努利分布

$$Bern(x|u)=u^{x}(1-u)^{1-x}$$

其中，

$$E[x]=u$$
$$var[x]=u(1-u)$$

如果有多次观测数据$D = \left\{ x_{1},...,x_{n}\right\}$，则有：

$$p(D|u)=\prod_{n=1}^{N}p(x_{n}|u)=\prod_{n=1}^{N}u^{x_{n}}(1-u)^{1-x_{n}}$$

用最大似然的方法，可得：

$$u_{ML} = \frac{1}{N}\sum _{n=1}^{N}x_{n} = \frac{m}{N}$$

(2) 二项分布

给定数据集规模N的条件下，$x=1$的观测出现的数量m的概率分布，被称为二项分布，可以写成：

$$Bin(m|N,u)=\begin{pmatrix} N\\ m \end{pmatrix} u^{m}(1-u)^{N-m}$$

其中

$$\begin{pmatrix} N\\ m \end{pmatrix} =\frac{N!}{(N-m)!m!}$$

这个分布对应的均值和方差为：

$$E[m]\equiv \sum_{m=0}^{N}mBin(m|N,u)=Nu$$

$$var[m]\equiv \sum_{m=0}^{N}(m-E[m])^{2}Bin(m|N,u)=Nu(1-u)$$

（3）Beta分布

上面两种分布，当数据样本少时，可能会存在较大误差，因为他们的期望都是概率均值，而观测少时可能期望与这个均值有偏差。

我们希望从贝叶斯的观点看待这个问题，需要引入关于u的先验概率分布$p(u)$。这里，我们希望后验概率保持与二项分布相似的形式，则要求引入的先验概率正比于$u$和$1-u$的幂指数。Beta分布就是可选的先验分布之一。

$$Beta(u|a,b)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}u^{a-1}(1-u)^{b-1}$$

其中

$$\Gamma (x)\equiv \int_{0}^{\infty}u^{x-1}e^{-u}du$$

这个分布对应的均值和方差为：

$$E[u]=\frac{a}{a+b}$$

$$var[u]=\frac{ab}{(a+b)^{2}(a+b+1)}$$

这里$a$和$b$是超参

假设硬币抛N次，有$m$次正面朝上，$l=N-m$次反面朝上，则以Beta分布作为先验，对应的二项分布的参数的后验概率为：

$$p(u|m,l,a,b)=\frac{\Gamma (m+a+l+b)}{\Gamma (m+a)\Gamma (l+b)}u^{m+a-1}(1-u)^{l+b-1}$$

显然，此时，后验和先验保持了相似的形式。

这里存在很有趣的现象，这个模型适用于顺序数据的概率预测。如果我们的目标是极可能好滴预测下一次实验的输出，则我们期望预测下面的概率：

$$p(x=1|D)=\int_{0}^{1}p(x=1|u)p(u|D)du=\int_{0}^{1}up(u|D)du=E[u|D]=\frac{m+a}{m+a+l+b}$$

现在，假设m和l是先验数据得到的结果，那么，每次新数据出现，如果$x=1$，则$a$加一，反之$b+1$，以此不断调整后验概率的情况，这样能逐步模拟最终的结果。

多项式变量

(1)多项式变量

现在考虑变量不止2种状态的情况，假设有K种可能的互斥状态。举个例子，如$x=(0,0,1,0,0,0)^{T}$，这里$x$存在6种可能的状态。对应的分布为：

$$p(x|u)=\prod_{k=1}^{K}u_{k}^{x_{k}}$$

则有：

$$E[x|u]=\sum _{x}p(x|u)x=(u_{1},...,u_{K})^{T}=u$$

现在考虑N个独立观测数据的集合D，对应的似然函数为：

$$p(D|u)=\prod_{n=}^{N}\prod_{k=1}^{K}u_{k}^{x_{nk}}=\prod_{k=1}^{K}u_{k}^{(\sum _{n}x_{nk})}=\prod _{k=1}^{K}u_{k}^{m_{k}}$$

其中

$$m_{k}=\sum _{n}x_{nk}$$

现在我们求解使模型证据最大的参数$u$，因为$\sum _{k}u_{k}=1$，则可以用拉格朗日乘子法构建函数：

$$L(u,\lambda)=\sum _{k=1}^{K}ln\ u_{k} + \lambda(\sum _{k=1}^{K}u_{k}-1)$$

求导计算得到：

$$u_{k}^{ML}=\frac{m_{k}}{N}$$

即N次观测中，$x_{k}=1$的观测所占的比例。

（2）多项式分布

我们考虑$m_{1},...,m_{K}$在参数$u$和观测总数N的条件下的联合分布，则有：

$$Mult(m_{1},m_{2},...,m_{K}|u,N)=\begin{pmatrix} N\\ m_{1}m_{2}...m_{K} \end{pmatrix} \prod_{k=1}^{K}u_{k}^{m_{k}}$$

其中

$$\begin{pmatrix} N\\ m_{1}m_{2}...m_{K} \end{pmatrix} =\frac{N!}{m_{1}!m_{2}!...m_{K}!}$$

这个分布就是多项式分布

（3）狄利克雷分布

现在考虑多项式分布的参数$\left\{ u_{k} \right\}$的一组先验分布，这里和Beta分布的初衷相似，我们还是希望这个先验是共轭的（后验和先验的形式类似），而观察多项式分布可以看到，多项式分布的共轭先验必然如下：

$$p(u|\alpha)\propto \prod_{k=1}^{K}u_{k}^{\alpha_{k}-1}$$

根据这个，设计出归一化概率的狄利克雷分布：

$$Dir(u|\alpha)=\frac{\Gamma (\alpha _{0})}{\Gamma (\alpha _{1})...\Gamma (\alpha _{K})}\prod_{k=1}^{K}u_{k}^{\alpha _{k-1}}$$

其中

$$\Gamma (x)\equiv \int_{0}^{\infty}u^{x-1}e^{-u}du$$

$$\alpha _{0}=\sum_{k=1}^{K}\alpha _{k}$$

用于多项式分布，则参数对应的后验概率分布为：

p(u|D