第二章：probability distribution

2-3：Gaussian distribution

7: 对于高斯函数的贝叶斯推断

（1）：单变量高斯分布$p(x|u,\sigma)$，此时平均值u未知，方差$\sigma$已知。则参数u的先验分布假设为$p(u)=N(u|u_{0},\sigma_{0}^{2})$，则后验分布为$p(u|\vec x)=N(u|u_{N},\sigma_{N}^{2})$，在这里$u_{N}=\frac{\sigma^2}{N\sigma_{0}^{2}+\sigma^{2}}u_{0}+\frac{N\sigma_{0}^{2}}{N\sigma_{0}^{2}+\sigma^2}u_{ML}, \frac{1}{\sigma_{N}^{2}}=\frac{1}{\sigma_{0}^{2}+\frac{N}{\sigma^2}}$

（2）：单变量高斯分布$p(x|u,\sigma)$，此时平均值u已知，方差$\sigma$未知，我们用参数$\lambda$表示方差的逆$1/\sigma^2$。则参数$\lambda$的先验分布假设为$Gam(\lambda|a,b)=\frac{1}{\Gamma(a)}b^{a}\lambda^{a-1}exp(-b\lambda)$。则后验分布为$p(\lambda|\vec x)=Gamma(\lambda|a_{N},b_{N})$，在这里$a_{N}=a_{0}+N/2, b_{N}=b_{0}+\frac{N}{2}\sigma_{ML}^2$。

（3）：单变量高斯分布$p(x|u,\sigma)$，此时平均值u未知，方差$\sigma$未知，此时我们假设参数u和$\lambda$服从的先验分布为$p(u,\lambda)=N(u|u_{0},(\beta\lambda)^{-1})Gam(\lambda|a,b)$。这个分布称为normal-gamma或者是Gaussian-gamma 分布。

（4）：D维变量$\vec x$高斯分布$N(\vec x| \vec u, \Lambda^{-1})$, 此时$\vec u$未知，$\Lambda$已知，则假设参数$\vec u$服从的先验分布为$p(\vec u)=N(\vec u|\vec u_{0}, \Sigma_{0})$。

（5）：D维变量$\vec x$高斯分布$N(\vec x|\vec u,\Lambda^{-1})$，此时$\vec u$已知，$\Lambda$未知，则假设参数$\Lambda$所服从的分布为$W(\Lambda|W,v)=B|\Lambda|^{(v-D-1)/2}exp(-\frac{1}{2}Tr(W^{-1}\Lambda)), B(W,v)=|W|^{-v/2}(2^{vD/2}\pi^{D(D-1)/4}\prod_{i=1}^{D}\Gamma{(\frac{v+1-i}{2})})^{-1}$

（6）：D维变量$\vec x$高斯分布$N(\vec x|\vec u,\Lambda^{-1})$，此时$\vec u$和$\Lambda$均未知，则假设这两个参数的先验分布为$p(\vec u, \Lambda|\vec u_{0},\beta,W,v)=N(\vec u|\vec u_{0},(\beta\Lambda)^{-1})W(\Lambda|W,v)$。

8：Student’s t分布$St(x|u,\lambda,v)=\frac{\Gamma{(v/2+1/2)}}{\Gamma{(v/2)}}{(\frac{\lambda}{\pi v})}^{1/2}[1+\frac{\lambda{(x-u)}^2}{v}]^{-v/2-1/2}$。在这里参数$v$被称之为自由度。我们能够把student’s t分布视为有无数个有着相同平均值但不同方差的高斯函数的叠加，这能够被理解为有着无数个高斯函数的混合。其直接结果是，一般来说，学生t分布有着比高斯函数更长的尾巴。这使得t分布有着一个重要性质called robustness which means it is much less sensitive than the gaussian to the presence of a few data points which are outliers.

上面给出的是单变量的学生t分布，多变量的高斯函数为$St(\vec x|\vec u, \Lambda, v)=\frac{\Gamma{(D/2+v/2)}}{\Gamma{(v/2)}}\frac{{|\Lambda|}^{1/2}}{{(\pi v)}^{D/2}}[1+\frac{\Delta^2}{v}]^{-D/2-v/2}$，在这里$\Delta^2=(\vec x-\vec u)^T\Lambda(\vec x-\vec u)$。

9：对于周期性的变量，我们应该在极坐标系下描述它的密度概率分布。在此情况下，一个可以选择的单变量概率分布是von Mises分布，其形式为：

$$p(\theta|\theta_{0},m)=\frac{1}{2\pi I_{0}(m)}exp{\{mcos(\theta-\theta_{0})\}} \\ I_{0}(m)=\frac{1}{2\pi}\int_{0}^{2\pi}exp\{mcos\theta\}d\theta$$
在这里， $\theta_{0}$对应着分布的平均值，m是concentration参数。这个分布有一个缺点就是它是单峰的，但是von Mises分布的混合能够被用来描述多峰性。

10：基本密度分布（比如高斯分布）的线性组合也能够形成概率模型，这称之为混合分布（mixture distribution)。

高斯混合(mixture of gaussians)能够被表示为$p(\vec x)=\sum_{k=1}^{K}\pi_{k}N(\vec x|\vec u_{k},\Sigma_{k})$。每一个高斯密度$N(\vec x|\vec u_{k}, \Sigma_{k})$被称之为该混合的一个组成成分(component)，并且有它自己的平均值$\vec u_{k}$和协方差$\Sigma_{k}$。

参数$\pi_{k}$被称之为混合参数(mixing coefficients)，为了使概率归一化，应该要满足$0\le\pi_{k}\le1$和$\sum_{k=1}^{K}\pi_{k}=1$这两个条件。

依据概率的求和和求积规则，边际密度$p(\vec x)$能够被写为$p(\vec x)=\sum_{k=1}^{K}p(k)p(\vec x|k)$。依据贝叶斯定理，我们能够推导出如下公式：$\gamma_{k}{(\vec x)}=p(k|\vec x)=\frac{p(k)p(\vec x|k)}{\Sigma_{l}p(l)p(\vec x|l)}$，$p(k)$被称之为挑选第k个成分的先验分布，$p(\vec x|k)$被称之为在给定k值下，$\vec x$的条件概率，求出的后验分布$p(k|\vec x)$被称之为responsibilities。

2-4: The Exponential Family

1 ：指数族分布的形式为$p(\vec x|\vec \eta)=h(\vec x)g(\vec \eta)exp\{\vec \eta^{T}\vec u(\vec x)\}$，在这里$\vec \eta$被称之为分布的自然参数，$\vec u(\vec x)$是$\vec x$的函数。
例如伯努利分布$p(x|u)=u^{x}(1-u)^{1-x}$，经过一些转换，能够被写成$p(x|\eta)=\sigma(-\eta)exp(\eta x), \eta=ln(\frac{u}{1-u})$，把这个公式与指数族分布的形式对比，我们发现$u(x)=x, h(x)=1, g(\eta)=\sigma(-\eta)$，因此我们能够认为伯努利分布属于指数族。

2：指数族密度分布的归一化的形式为$g(\vec \eta)\int{h(\vec x)exp\{\vec \eta^T\vec u(\vec x)\}d\vec x}=1$，等式两边对参数$\vec \eta$求导，可得$-\frac{\partial{ln\{g(\vec \eta)\}}}{\partial \vec \eta}=E[\vec u(\vec x)]$。

3：当我们有了一系列独立且相同分布的数据集$\{\textbf{x}_{1},......,\textbf{x}_{n}\}$，则我们用极大似然法来推出参数$\vec \eta$，公式为$-\frac{\partial{ln\{g(\vec \eta)\}}}{\partial \vec \eta}/_{\vec \eta=\vec \eta_{ML}}=\frac{1}{N}\sum_{n=1}^{N}\vec u(\vec x_{n})$。从这个公式中，我们可以得到如下两点：

(1)：极大似然估计数的解仅仅依赖于数据的$\sum_{n}\vec u(\vec x_{n})$，因此$\sum_{n}\vec u(\vec x_{n})$称之为指数族分布的sufficient statistic；
(2)：如果我们考虑N趋于无穷的极限情况，则$\frac{1}{N}\sum_{n=1}^{N}\vec u(\vec x_{n})$变成了$E[\vec u(\vec x)]$，在这个时候比较2和3中的两个公式，我们会发现$\vec \eta_{ML}$会等于真实值$\vec \eta$。

4：对于指数族分布来说，其参数$\vec \eta$的共轭先验能够被写成$p(\vec \eta|\vec \chi, \nu)=f(\vec \chi,\nu)g(\vec \eta)^{\nu}exp\{\nu \vec \eta^T \vec \chi\}$。因此此时，参数$\vec \eta$的后验分布可以写成 $p(\vec \eta|D,\vec \chi,\nu) \propto g(\vec \eta)^{(\nu+N)}exp\{\vec \nu^{T}(\sum_{n=1}^{N}\vec u(\vec x_{n})+\nu \vec \chi)\}$。

5：在很多情况下，我们不知道先验分布应该采取什么样的分布，在这个时候我们就寻找一个先验分布，使得其对后验分布的影响尽可能的小，这样的先验分布称之为noninformative prior。

2-5：Nonparametric Methods

问题：给定D维空间中观察到的N个数据样本，估计密度函数$p(\vec x)$。
解决方法：在足够小的区域R中考虑问题。在D维空间中，任取一个点$\vec x$，设落入R的概率为p，假设观察到N个样本，则R中落入K个点的概率为Bin(K|N,P)。由于R足够小，所以$p(\vec x)$在R中近似为常数，所以在R空间区域中的概率质量$P=p(\vec x)*V$ (V为该R空间区域的体积)，与此同时，空间区域R足够大，使得落入这个空间区域的点的个数K=NP。因此推出$K=Np(\vec x)*V$，所以$p(\vec x)=\frac{K}{NV}$。

一：Kernel density estimation：

对于该方法，我们固定空间区域R的体积V，决定K。我们假设这个空间区域R是一个以点$\vec x$为中心的超立方体(hypercube)。为了计算落入到这个R区域中点的个数，我们定义下列函数，其中$k(\vec u)=0$称为kernel function。

$$\quad \quad \quad \quad \quad k(\vec u)=1, |u_{i}|<=1/2, i=1,..,D\\ k(\vec u)=0, otherwise$$
这个函数表示的意思是，量 $k((\vec x-\vec x_{n})/h)$将会是1，如果点 $\vec x_{n}$落入到以 $\vec x$为中心，边为h的超立方体中。因此落入到这个超立方体总的点数是
$$K=\sum_{n=1}^{N}k(\frac{\vec x- \vec x_{n}}{h})$$
因此点 $\vec x$的概率，也称为kernel density estimator，为 $$p(\vec x)=\frac{1}{N}\sum_{n=1}^{N}\frac{1}{h^D}k(\frac{\vec x-\vec x_{n}}{h})$$
在之前我们理解上述方程是把它看成是一个以点 $\vec x$为中心的立方体，但现在利用 $k(\vec u)$的对称性，我们能够把上述公式理解成N个以数据集点 $x_{n}$为中心立方体的和。

这种kernel function会导致artificial discontinuities，因此我们会使用更加平滑的函数，一个普通的选择是高斯函数，这导致了下面的内核密度模型(kernel density model)：

$$p(\vec x)=\frac{1}{N}\sum_{n=1}^{N}\frac{1}{(2\pi h^2)^{D/2}}exp\{-\frac{||\vec x-\vec x_{n}||^2}{2h^2}\}$$
在这个函数中, h是高斯函数成分的标准偏离。 Thus our density model is obtained by placing a Gaussian over each data point and then adding up the contributions over the whole data set, and then dividing by N so that the density is correctly normalized.

参数h扮演者smoothing parameter的角色，h太小会导致噪音，但h太大会导致过度光滑，因此h值的合适选择是模型复杂度的一个问题。

二：Nearest-neighbour methods

1：对于kernel density estimation来说，一个缺点就是对于所有的内核函数来说，参数h是固定的，那么在数据密度大的区域，大的h值会导致over-smoothing。然而减少h或许会导致在数据密度小的区域，噪音比较大，因此h的最优选择应该要依赖于数据空间的位置，而不是永远是一个固定值，这个问题能够用nearest-neighbour methods方法解决。

2：nearest-neighbour methods是固定K值，使用数据去找到V的合适值。为了推出点$\vec x$的密度$p(\vec x)$，我们可以考虑一个以点$\vec x$为中心的超球(hypersphere)，我们允许这个超球的半径r增长直至恰好包含K个数据点，然后使用$p(\vec x)=\frac{K}{NV}$去推出点$\vec x$的密度$p(\vec x)$，其中V是恰好包含K个数据点的超球体积。

3：K-nearest-neighbour方法也能够被推广到分类问题。
假设我们有一个N个数据点的数据集，在这个数据集中每个类$C_{k}$对应的数据点总数为$N_{k}$，则$\sum_{k}N_{k}=N$。如果我们想要分类一个新的点$\vec x$，则我们以该点为中心画一个球使之包含K个点。我们假定这个球的体积为V并且对于每一个类$C_{k}$分别包含了$K_{k}$个数据点，然后可以得出下面三个概率

$$p(\vec x|C_{k})=\frac{K_{k}}{N_{k}V}\\ p(\vec x)=\frac{K}{NV}\\ p(C_{k})=\frac{N_{k}}{N}$$
根据贝叶斯定理，我们推出 $$p(C_{k}|\vec x)=\frac{p(\vec x|C_{k})p(C_{k})}{p(\vec x)}=\frac{K_{k}}{K}$$
因此如果我们希望极小化分类错误的概率，那么我们就把这个新数据点分类到有着最大的后验概率的那个类。

4：K-nearest-neighbour和kernel density estimator这两个方法要求整个训练集，如果这个训练集很大的话，那么计算是很昂贵的，因此这些非参数方法是严重的受限制的。另一方面，就表达概率分布而言，简单的参数模型也是很严重的受限制的。因此这本书随后的章节将会给我们介绍密度模型，它们很灵活但是它们的复杂度能够被控制且与训练集的大小无关。