PRML学习总结（2）——Probability Distributions

2.1 Binary Variables

二元变量最常见的是投硬币，$x=1$代表"head"，$x=0$代表"tail"。
$$p(x=1|\mu )=\mu$$
其中$0⩽\mu ⩽1$，亦可表示为
$$\mathrm{Bern}(x|\mu )={\mu }^x(1-\mu {)}^{1-x}$$
这也是常常被称为Bernoulli distribution
$$\begin{array}{rl}\mathbb{E}[x]& =\mu \\ \mathrm{var}[x]& =\mu (1-\mu )\end{array}$$
下面考虑最大似然问题
有$N$个数据 D = { x 1 , … , x N } \mathcal { D } = \left\{ x _ { 1 } , \ldots , x _ { N } \right\} D={x1​,…,xN​}
$$p(\mathcal{D}|\mu )=\prod _{n=1}^{N}p\left(x_n|\mu \right)=\prod _{n=1}^N{\mu }^{x_n}(1-\mu {)}^{1-x_n}$$
$${\mu }_{\mathrm{M}\mathrm{L}}=\frac{1}{N}\sum _{n=1}^N{x}_n$$
那么考虑一种情况，如果总共投了3次，有3次都是"head"，那么由ML估计可以得到$\mu =1$，但是这是不可能的，这说明模型过拟合了！后面将利用引入先验减轻过拟合！
下面引入二项分布，总共$N$次投掷中，有$m$次为"head"：
$$\mathrm{Bin}(m|N,\mu )=\left(\begin{array}{c}N\\ m\end{array}\right){\mu }^m(1-\mu {)}^{N-m}$$
$$\left(\begin{array}{c}N\\ m\end{array}\right)\equiv \frac{N!}{(N-m)!m!}$$
其期望和方差为
$$\mathbb{E}[m]\equiv \sum _{m=0}^{N}m\mathrm{Bin}(m|N,\mu )=N\mu$$
$$\mathrm{var}[m]\equiv \sum _{m=0}^N(m-\mathbb{E}[m]{)}^2\mathrm{Bin}(m|N,\mu )=N\mu (1-\mu )$$

2.1.1 The beta distribution

正如前面所述，在小数据集中很容易过拟合，为了能从贝叶斯观点看这个问题，就必须对$\mu$引入先验，引入先验的原则必须让后续的计算容易运算。在此Beta分布刚好符合这个条件
$$\mathrm{Beta}(\mu |a,b)=\frac{\Gamma (a+b)}{\Gamma (a)\Gamma (b)}{\mu }^{a-1}(1-\mu {)}^{b-1}$$
$$\mathbb{E}[\mu ]=\frac{a}{a+b}$$
$$\mathrm{var}[\mu ]=\frac{ab}{(a+b{)}^2(a+b+1)}$$
其中$a,b$为beta分布的超参数

利用此先验可得到后验
$$p(\mu |m,l,a,b)\propto {\mu }^{m+a-1}(1-\mu {)}^{l+b-1}$$
其中$m$表示"head"的次数，$l$表示"tail"的次数。
$$p(\mu |m,l,a,b)=\frac{\Gamma (m+a+l+b)}{\Gamma (m+a)\Gamma (l+b)}{\mu }^{m+a-1}(1-\mu {)}^{l+b-1}$$
后验刚好也是Beta分布，当先验和后验是同一类分布时，称为共轭分布！该后验分布就是在Beta分布上加上了$(m,l)$。当我们做预测时，
$$p(x=1|\mathcal{D})={\int }_0^{1}p(x=1|\mu )p(\mu |\mathcal{D})\mathrm{d}\mu ={\int }_0^1\mu p(\mu |\mathcal{D})\mathrm{d}\mu =\mathbb{E}[\mu |\mathcal{D}]$$
$$p(x=1|\mathcal{D})=\frac{m+a}{m+a+l+b}$$
分析上式，当$m,l\to \infty$时，就退化为ML问题。从之前的Beta分布随着超参数变化的图可知，随着所观察的数据越来越多，后验概率的方差
$$\mathrm{var}[\mu ]=\frac{ab}{(a+b{)}^2(a+b+1)}$$
将会趋于0，也就是说不确定度越小。

2.2 Multinomial Variables

$$p(\mathbf{x}|\mathbf{\mu })=\prod _{k=1}^K{\mu }_k^{x_k}$$
其中$\mathbf{x}=(0,0,1,0,0,0{)}^{\mathrm{T}}$,$\mathbf{\mu }={\left({\mu }_1,\dots ,{\mu }_K\right)}^{\mathrm{T}}$,${\sum }_k{\mu }_k=1$
同样考虑ML问题
$$p(\mathcal{D}|\mathbf{\mu })=\prod _{n=1}^N\prod _{k=1}^K{\mu }_k^{x_{nk}}=\prod _{k=1}^K{\mu }_k^{\left({\sum }_n{x}_{nk}\right)}=\prod _{k=1}^K{\mu }_k^{m_k}$$
$${\mu }_k^{\mathrm{M}\mathrm{L}}=\frac{m_k}{N}$$
其中$m_k={\sum }_n{x}_{nk}$
当考虑多项式分布
$$\mathrm{Mult}\left(m_1,m_2,\dots ,m_K|\mathbf{\mu },N\right)=\left(\begin{array}{c}N\\ m_1{m}_2\dots m_K\end{array}\right)\prod _{k=1}^K{\mu }_k^{m_k}$$
其中${\sum }_{k=1}^K{m}_k=N$

2.2.1 The Dirichlet distribution

与二项分布引入beta分布作为先验那样，对于多项式分布也可以引入先验分布Dirichlet!
$$\mathrm{Dir}(\mathbf{\mu }|\mathbf{\alpha })=\frac{\Gamma \left({\alpha }_0\right)}{\Gamma \left({\alpha }_1\right)\cdots \Gamma \left({\alpha }_K\right)}\prod _{k=1}^K{\mu }_k^{{\alpha }_k-1}$$
$${\alpha }_0=\sum _{k=1}^K{\alpha }_k$$
则后验分布为
$$\begin{array}{rl}p(\mathbf{\mu }|\mathcal{D},\mathbf{\alpha })& =\mathrm{Dir}(\mathbf{\mu }|\mathbf{\alpha }+\mathbf{m})\\ & =\frac{\Gamma \left({\alpha }_0+N\right)}{\Gamma \left({\alpha }_1+m_1\right)\cdots \Gamma \left({\alpha }_K+m_K\right)}\prod _{k=1}^K{\mu }_k^{{\alpha }_k+m_k-1}\end{array}$$

2.3 The Gaussian Distribution

$$\mathcal{N}(\mathbf{x}|\mathbf{\mu },\mathbf{\Sigma })=\frac{1}{(2\pi {)}^{D/2}}\frac{1}{|\mathbf{\Sigma }{|}^{1/2}}\exp \left\{-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })\right\}$$
熵最大的分布就是高斯分布！
很多模型都是采用高斯分布，但是不得不承认高斯分布也存在着一些问题：
1）其对称的协方差矩阵$\Sigma$存在着$D(D+1)/2$个自由参数，再加上$\mathbf{\mu }$中$D$个独立的自由参数，总共有$D(D+3)/2$个参数，参数量随着$D^2$增长，同时在求取$\Sigma$的逆时，也会带来很大的计算复杂度。常见的简化方法是用对角矩阵代替一般的协方差矩阵$\Sigma$，即$\mathbf{\Sigma }=\mathrm{diag}\left({\sigma }_i^2\right)$。或者更简化为$\mathbf{\Sigma }={\sigma }^2\mathbf{I}$。这三种方式的二维高斯如下图所示

尽管这能在求逆时带来便捷，但是限制了模型的表达能力。
2）另一个限制高斯模型的是，高斯分布为单峰分布，很难拟合多模型的分布。
对于以上问题，可以利用隐变量模型解决以上两个问题；引入离散变量，从而可以得到高斯混合模型… …

2.3.1 Conditional Gaussian distributions

设$\mathbf{x}\in {\mathbf{R}}^D$，且服从$\mathcal{N}(\mathbf{x}|\mathbf{\mu },\mathbf{\Sigma })$，将$\mathbf{x}$划分为两部分${\mathbf{x}}_a$和${\mathbf{x}}_b$，其中${\mathbf{x}}_a\in {\mathbf{R}}^M$,${\mathbf{x}}_b\in {\mathbf{R}}^{D-M}$。
$$\mathbf{x}=\left(\begin{array}{c}{\mathbf{x}}_a\\ {\mathbf{x}}_b\end{array}\right)$$
对于均值和方差定义如下
$$\mathbf{\mu }=\left(\begin{array}{l}{\mathbf{\mu }}_a\\ {\mathbf{\mu }}_b\end{array}\right)$$
$$\mathbf{\Sigma }=\left(\begin{array}{ll}{\mathbf{\Sigma }}_{aa}& {\mathbf{\Sigma }}_{ab}\\ {\mathbf{\Sigma }}_{ba}& {\mathbf{\Sigma }}_{bb}\end{array}\right)$$
除了协方差矩阵，这儿定义一个precision矩阵
$$\Lambda \equiv {\Sigma }^{-1}$$
$$\mathbf{\Lambda }=\left(\begin{array}{ll}{\mathbf{\Lambda }}_{aa}& {\mathbf{\Lambda }}_{ab}\\ {\mathbf{\Lambda }}_{ba}& {\mathbf{\Lambda }}_{bb}\end{array}\right)$$
现在开始计算条件概率$p\left({\mathbf{x}}_a|{\mathbf{x}}_b\right)$，只考虑高斯分布的指数部分
$$\begin{array}{rl}-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}{\mathbf{\Sigma }}^{-1}(\mathbf{x}-\mathbf{\mu })& =\\ & -\frac{1}{2}{\left({\mathbf{x}}_a-{\mathbf{\mu }}_a\right)}^{\mathrm{T}}{\mathbf{\Lambda }}_{aa}\left({\mathbf{x}}_a-{\mathbf{\mu }}_a\right)-\frac{1}{2}{\left({\mathbf{x}}_a-{\mathbf{\mu }}_a\right)}^{\mathrm{T}}{\mathbf{\Lambda }}_{ab}\left({\mathbf{x}}_b-{\mathbf{\mu }}_b\right)\\ & -\frac{1}{2}{\left({\mathbf{x}}_b-{\mathbf{\mu }}_b\right)}^{\mathrm{T}}{\mathbf{\Lambda }}_{ba}\left({\mathbf{x}}_a-{\mathbf{\mu }}_a\right)-\frac{1}{2}{\left({\mathbf{x}}_b-{\mathbf{\mu }}_b\right)}^{\mathrm{T}}{\mathbf{\Lambda }}_{bb}\left({\mathbf{x}}_b-{\mathbf{\mu }}_b\right)\end{array}$$
以上刚好为${\mathbf{x}}_a$的二次型函数，说明$p\left({\mathbf{x}}_a|{\mathbf{x}}_b\right)$也是高斯分布。
$${\mathbf{\Sigma }}_{a|b}={\mathbf{\Lambda }}_{aa}^{-1}$$
μ a ∣ b = Σ a ∣ b { Λ a a μ a − Λ a b ( x b − μ b ) } = μ a − Λ a a − 1 Λ a b ( x b − μ b ) \begin{aligned} \boldsymbol { \mu } _ { a | b } & = \boldsymbol { \Sigma } _ { a | b } \left\{ \mathbf { \Lambda } _ { a a } \boldsymbol { \mu } _ { a } - \boldsymbol { \Lambda } _ { a b } \left( \mathbf { x } _ { b } - \boldsymbol { \mu } _ { b } \right) \right\} \\ & = \boldsymbol { \mu } _ { a } - \boldsymbol { \Lambda } _ { a a } ^ { - 1 } \boldsymbol { \Lambda } _ { a b } \left( \mathbf { x } _ { b } - \boldsymbol { \mu } _ { b } \right) \end{aligned} μa∣b​​=Σa∣b​{Λaa​μa​−Λab​(xb​−μb​)}=μa​−Λaa−1​Λab​(xb​−μb​)​
而
$$\begin{array}{rl}{\mathbf{\Lambda }}_{aa}& ={\left({\mathbf{\Sigma }}_{aa}-{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}{\mathbf{\Sigma }}_{ba}\right)}^{-1}\\ {\mathbf{\Lambda }}_{ab}& =-{\left({\mathbf{\Sigma }}_{aa}-{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}{\mathbf{\Sigma }}_{ba}\right)}^{-1}{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}\end{array}$$
所以
$$\begin{array}{l}{\mathbf{\mu }}_{a|b}={\mathbf{\mu }}_a+{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}\left({\mathbf{x}}_b-{\mathbf{\mu }}_b\right)\\ {\mathbf{\Sigma }}_{a|b}={\mathbf{\Sigma }}_{aa}-{\mathbf{\Sigma }}_{ab}{\mathbf{\Sigma }}_{bb}^{-1}{\mathbf{\Sigma }}_{ba}\end{array}$$

2.3.2 Marginal Gaussian distributions

$$p\left({\mathbf{x}}_a\right)=\mathcal{N}\left({\mathbf{x}}_a|{\mathbf{\mu }}_a,{\mathbf{\Sigma }}_{aa}\right)$$

2.3.3 Bayes’ theorem for Gaussian variables

这儿提出一个概念为：线性高斯模型
$$\begin{array}{rl}p(\mathbf{x})& =\mathcal{N}\left(\mathbf{x}|\mathbf{\mu },{\mathbf{\Lambda }}^{-1}\right)\\ p(\mathbf{y}|\mathbf{x})& =\mathcal{N}\left(\mathbf{y}|\mathbf{A}\mathbf{x}+\mathbf{b},{\mathbf{L}}^{-1}\right)\end{array}$$
其中，$\mathbf{\mu },\mathbf{A},\mathbf{b}$为控制均值的参数，$\mathbf{\Lambda },\mathbf{L}$为precision矩阵。

$$\begin{array}{rl}p(\mathbf{y})& =\mathcal{N}\left(\mathbf{y}|\mathbf{A}\mathbf{\mu }+\mathbf{b},{\mathbf{L}}^{-1}+\mathbf{A}{\mathbf{\Lambda }}^{-1}{\mathbf{A}}^{\mathrm{T}}\right)\\ p(\mathbf{x}|\mathbf{y})& =\mathcal{N}\left(\mathbf{x}|\mathbf{\Sigma }\left\{{\mathbf{A}}^{\mathrm{T}}\mathbf{L}(\mathbf{y}-\mathbf{b})+\mathbf{\Lambda }\mathbf{\mu }\right\},\mathbf{\Sigma }\right)\end{array}$$
其中
$$\mathbf{\Sigma }={\left(\mathbf{\Lambda }+{\mathbf{A}}^{\mathrm{T}}\mathbf{L}\mathbf{A}\right)}^{-1}$$

2.3.4 Maximum likelihood for the Gaussian

$${\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n$$
$${\mathbf{\Sigma }}_{\mathrm{M}\mathrm{L}}=\frac{1}{N}\sum _{n=1}^N\left({\mathbf{x}}_n-{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}\right){\left({\mathbf{x}}_n-{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}\right)}^{\mathrm{T}}$$
计算其期望
$$\begin{array}{rl}\mathbb{E}\left[{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}\right]& =\mathbf{\mu }\\ \mathbb{E}\left[{\mathbf{\Sigma }}_{\mathrm{M}\mathrm{L}}\right]& =\frac{N-1}{N}\mathbf{\Sigma }\end{array}$$
发现方差是有偏的，因此可以修正为
$$\tilde{\Sigma }=\frac{1}{N-1}\sum _{n=1}^N\left({\mathbf{x}}_n-{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}\right){\left({\mathbf{x}}_n-{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}\right)}^{\mathrm{T}}$$

2.3.5 Sequential estimation

序列估计就是指每次只处理一个数据，这个对于在线学习有着很重要的指导意义。${\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}^{(N)}$表示在观测到$N$个数据后最大似然估计的均值。
$$\begin{array}{rl}{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}^{(N)}& =\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n\\ & =\frac{1}{N}{\mathbf{x}}_N+\frac{1}{N}\sum _{n=1}^{N-1}{\mathbf{x}}_n\\ & =\frac{1}{N}{\mathbf{x}}_N+\frac{N-1}{N}{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}^{(N-1)}\\ & ={\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}^{(N-1)}+\frac{1}{N}\left({\mathbf{x}}_N-{\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}^{(N-1)}\right)\end{array}$$
以上公式就可以进行在线学习，在观测到$N-1$个数据时，得到${\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}^{(N-1)}$，然后来了一个${\mathbf{x}}_n$，则对其进行修正便可得到${\mathbf{\mu }}_{\mathrm{M}\mathrm{L}}^{(N)}$。下面介绍一种更加普适的方法得到序列算法，Robbins-Monro algorithm
对于联合分布$p(z,\theta )$
$$f(\theta )\equiv \mathbb{E}[z|\theta ]=\int zp(z|\theta )\mathrm{d}z$$
这个函数称为回归函数。我们的目标是找到${\theta }^{\star }$使得$f\left({\theta }^{\star }\right)=0$。如果我们有很多关于$z,\theta$的观测值，那么我们可以直接建模回归函数，这跟之前的回归问题很像，就可以得到目标值。但是我们现在只能观测到$z$，且每次只能观测一个数据。我们可以使用Robbins-Monro algorithm得到序列估计的算法：
首先假设有
$$\mathbb{E}\left[(z-f{)}^2|\theta \right]<\infty$$
且认为，当$\theta >{\theta }^{\star }$，$f(\theta )>0$；$\theta <{\theta }^{\star }$，$f(\theta )<0$，则更新过程为
$${\theta }^{(N)}={\theta }^{(N-1)}+a_{N-1}z\left({\theta }^{(N-1)}\right)$$
{ a N } \left\{ a _ { N } \right\} {aN​}为一系列正数，且满足
$$\begin{array}{l}{\lim }_{N\to \infty }{a}_N=0\\ {\sum }_{N=1}^{\infty }{a}_N=\infty \\ {\sum }_{N=1}^{\infty }{a}_N^2<\infty \end{array}$$
在实际过程中，可以在最大似然中使用以上算法
$$\frac{\partial }{\partial \theta }{\left\{\frac{1}{N}\sum _{n=1}^N\ln p\left({\mathbf{x}}_n|\theta \right)\right\}|}_{{\theta }_{\mathrm{M}\mathrm{L}}}=0$$
当对$N\to \infty$，有
$$\underset{N\to \infty }{\lim }\frac{1}{N}\sum _{n=1}^N\frac{\partial }{\partial \theta }\ln p\left(x_n|\theta \right)={\mathbb{E}}_x\left[\frac{\partial }{\partial \theta }\ln p(x|\theta )\right]$$
也就是说求最大似然估计，就是求上式的根，因此采用以上所说的算法
$${\theta }^{(N)}={\theta }^{(N-1)}+a_{N-1}\frac{\partial }{\partial {\theta }^{(N-1)}}\ln p\left(x_N|{\theta }^{(N-1)}\right)$$
具体地，对于高斯分布来说
$$z=\frac{\partial }{\partial {\mu }_{\mathrm{M}\mathrm{L}}}\ln p\left(x|{\mu }_{\mathrm{M}\mathrm{L}},{\sigma }^2\right)=\frac{1}{{\sigma }^2}\left(x-{\mu }_{\mathrm{M}\mathrm{L}}\right)$$
当取$a_N={\sigma }^2/N$时，就得到了之前推出来的结果！

2.3.6 Bayesian inference for the Gaussian

接下来的问题就是在高斯分布参数上加入先验进而得到参数的后验分布：

1) 单变量高斯：方差已知

$$p(\mathbf{X}|\mu )=\prod _{n=1}^{N}p\left(x_n|\mu \right)=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{N/2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{n=1}^N{\left(x_n-\mu \right)}^2\right\}$$
将$\mu$的先验设置为
$$p(\mu )=\mathcal{N}\left(\mu |{\mu }_0,{\sigma }_0^2\right)$$
则
$$p(\mu |\mathbf{X})\propto p(\mathbf{X}|\mu )p(\mu )$$
刚好也是一个高斯分布，
$$p(\mu |\mathbf{X})=\mathcal{N}\left(\mu |{\mu }_N,{\sigma }_N^2\right)$$
$$\begin{array}{rl}{\mu }_N& =\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_0+\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_{\mathrm{M}\mathrm{L}}\\ \frac{1}{{\sigma }_N^2}& =\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}\end{array}$$

2) 单变量高斯：均值已知

$$p(\mathbf{X}|\lambda )=\prod _{n=1}^N\mathcal{N}\left(x_n|\mu ,{\lambda }^{-1}\right)\propto {\lambda }^{N/2}\exp \left\{-\frac{\lambda }{2}\sum _{n=1}^N{\left(x_n-\mu \right)}^2\right\}$$
其先验分布为Gamma分布的时候
$$\mathrm{Gam}(\lambda |a,b)=\frac{1}{\Gamma (a)}{b}^a{\lambda }^{a-1}\exp (-b\lambda )$$
$$\begin{array}{rl}\mathbb{E}[\lambda ]& =\frac{a}{b}\\ \mathrm{var}[\lambda ]& =\frac{a}{b^2}\end{array}$$
当该先验为$\mathrm{Gam}\left(\lambda |a_0,b_0\right)$，则
$$p(\lambda |\mathbf{X})\propto {\lambda }^{a_0-1}{\lambda }^{N/2}\exp \left\{-b_0\lambda -\frac{\lambda }{2}\sum _{n=1}^N{\left(x_n-\mu \right)}^2\right\}$$
刚好表示为另一个Gamma分布$\mathrm{Gam}\left(\lambda |a_N,b_N\right)$
$$\begin{array}{l}{a}_N=a_0+\frac{N}{2}\\ b_N=b_0+\frac{1}{2}{\sum }_{n=1}^N{\left(x_n-\mu \right)}^2=b_0+\frac{N}{2}{\sigma }_{\mathrm{M}\mathrm{L}}^2\end{array}$$

3) 单变量高斯：均值和方差都未知

$$\begin{array}{c}p(\mathbf{X}|\mu ,\lambda )={\prod }_{n=1}^N{\left(\frac{\lambda }{2\pi }\right)}^{1/2}\exp \left\{-\frac{\lambda }{2}{\left(x_n-\mu \right)}^2\right\}\\ \propto {\left[{\lambda }^{1/2}\exp \left(-\frac{\lambda {\mu }^2}{2}\right)\right]}^N\exp \left\{\lambda \mu {\sum }_{n=1}^N{x}_n-\frac{\lambda }{2}{\sum }_{n=1}^N{x}_n^2\right\}\end{array}$$
当先验满足以下形式时就会形成共轭分布
p ( μ , λ ) ∝ [ λ 1 / 2 exp ⁡ ( − λ μ 2 2 ) ] β exp ⁡ { c λ μ − d λ } = exp ⁡ { − β λ 2 ( μ − c / β ) 2 } λ β / 2 exp ⁡ { − ( d − c 2 2 β ) λ } \begin{array} { l } { p ( \mu , \lambda ) \propto \left[ \lambda ^ { 1 / 2 } \exp \left( - \frac { \lambda \mu ^ { 2 } } { 2 } \right) \right] ^ { \beta } \exp \{ c \lambda \mu - d \lambda \} } \\ { \quad = \exp \left\{ - \frac { \beta \lambda } { 2 } ( \mu - c / \beta ) ^ { 2 } \right\} \lambda ^ { \beta / 2 } \exp \left\{ - \left( d - \frac { c ^ { 2 } } { 2 \beta } \right) \lambda \right\} } \end{array} p(μ,λ)∝[λ1/2exp(−2λμ2​)]βexp{cλμ−dλ}=exp{−2βλ​(μ−c/β)2}λβ/2exp{−(d−2βc2​)λ}​
其中$c,d,\beta$为常数。实际中我们常常$p(\mu ,\lambda )=p(\mu |\lambda )p(\lambda )$，那么可以将$p(\mu |\lambda )$看作为一个高斯分布，则
$$p(\mu ,\lambda )=\mathcal{N}\left(\mu |{\mu }_0,(\beta \lambda {)}^{-1}\right)\mathrm{Gam}(\lambda |a,b)$$
以上这个分布称为normal-gamma or Gaussian-gamma分布。

4) 多元变量高斯

在多元高斯的情况下与单高斯类似，均值用高斯分布作为先验，而precision矩阵由Wishart分布作为先验
$$\mathcal{W}(\mathbf{\Lambda }|\mathbf{W},\nu )=B|\mathbf{\Lambda }{|}^{(\nu -D-1)/2}\exp \left(-\frac{1}{2}\mathrm{Tr}\left({\mathbf{W}}^{-1}\mathbf{\Lambda }\right)\right)$$
常数$B$为
$$B(\mathbf{W},\nu )=|\mathbf{W}{|}^{-\nu /2}{\left(2^{\nu D/2}{\pi }^{D(D-1)/4}\prod _{i=1}^D\Gamma \left(\frac{\nu +1-i}{2}\right)\right)}^{-1}$$
同样的，在均值和precision矩阵都不知道的情况下
$$p\left(\mathbf{\mu },\mathbf{\Lambda }|{\mathbf{\mu }}_0,\beta ,\mathbf{W},\nu \right)=\mathcal{N}\left(\mathbf{\mu }|{\mathbf{\mu }}_0,(\beta \mathbf{\Lambda }{)}^{-1}\right)\mathcal{W}(\mathbf{\Lambda }|\mathbf{W},\nu )$$

2.3.7 Student’s t-distribution

把高斯分布和Gamma分布的联合分布的precision积掉
$$\begin{array}{rl}p(x|\mu ,a,b)& ={\int }_0^{\infty }\mathcal{N}\left(x|\mu ,{\tau }^{-1}\right)\mathrm{Gam}(\tau |a,b)\mathrm{d}\tau \\ & ={\int }_0^{\infty }\frac{b^a{e}^{(-b\tau )}{\tau }^{a-1}}{\Gamma (a)}{\left(\frac{\tau }{2\pi }\right)}^{1/2}\exp \left\{-\frac{\tau }{2}(x-\mu {)}^2\right\}\mathrm{d}\tau \\ & =\frac{b^a}{\Gamma (a)}{\left(\frac{1}{2\pi }\right)}^{1/2}{\left[b+\frac{(x-\mu {)}^2}{2}\right]}^{-a-1/2}\Gamma (a+1/2)\end{array}$$
令$z=\tau \left[b+(x-\mu {)}^2/2\right]$，$\nu =2a$，$\lambda =a/b$，可以得到最终的strudent’s t-distribution
$$\mathrm{St}(x|\mu ,\lambda ,\nu )=\frac{\Gamma (\nu /2+1/2)}{\Gamma (\nu /2)}{\left(\frac{\lambda }{\pi \nu }\right)}^{1/2}{\left[1+\frac{\lambda (x-\mu {)}^2}{\nu }\right]}^{-\nu /2-1/2}$$
t分布是由无限多个均值相同precision不同的高斯分布混合而成！

当$\nu \to \infty$时，t分布就变成了高斯分布。从图中可以发现t分布的“尾巴”要更长些，这样就给t分布带来了一个好处就是“鲁棒性”，主要是对外点的鲁棒性更强，具体看如下结果

可以看出高斯分布很容易受到外点的影响，而t分布则能很好地消除外点，得到较好的结果。
t分布可以表示（$\nu =2a$，$\lambda =a/b$，$\eta =\tau b/a$）为
$$\mathrm{St}(x|\mu ,\lambda ,\nu )={\int }_0^{\infty }\mathcal{N}\left(x|\mu ,(\eta \lambda {)}^{-1}\right)\mathrm{Gam}(\eta |\nu /2,\nu /2)\mathrm{d}\eta$$
那么可以类似地往多维高斯扩展
$$\mathrm{St}(\mathbf{x}|\mathbf{\mu },\mathbf{\Lambda },\nu )={\int }_0^{\infty }\mathcal{N}\left(\mathbf{x}|\mathbf{\mu },(\eta \mathbf{\Lambda }{)}^{-1}\right)\mathrm{Gam}(\eta |\nu /2,\nu /2)\mathrm{d}\eta$$
最终得到
$$\mathrm{St}(\mathbf{x}|\mathbf{\mu },\mathbf{\Lambda },\nu )=\frac{\Gamma (D/2+\nu /2)}{\Gamma (\nu /2)}\frac{|\mathbf{\Lambda }{|}^{1/2}}{(\pi \nu {)}^{D/2}}{\left[1+\frac{{\Delta }^2}{\nu }\right]}^{-D/2-\nu /2}$$
$${\Delta }^2=(\mathbf{x}-\mathbf{\mu }{)}^{\mathrm{T}}\mathbf{\Lambda }(\mathbf{x}-\mathbf{\mu })$$
$$\begin{array}{rlrlc}\mathbb{E}[\mathbf{x}]& =\mu & ,\text{ if }\nu >1& & \\ \mathrm{cov}[\mathbf{x}]& =\frac{\nu }{(\nu -2)}{\Lambda }^{-1}& & \text{ if }& \nu >2\\ \mathrm{mode}[\mathbf{x}]& =\mu & & & \end{array}$$

2.3.8 Periodic variables

尽管高斯分布应用范围很广，但是在有些情况下，高斯分布就达不到预期效果，比如周期性变量！比如风向标的方向，$0⩽\theta <2\pi$。
假如我们还是按照原来高斯分布来建模这个变量，对于观测值${\theta }_1=1^{\circ }$和${\theta }_2=359^{\circ }$，如果我们要计算样本均值和方差，当选择$0^{\circ }$作为起始点，那么得到均值为$180^{\circ }$，标准差为$179^{\circ }$；若选择$180^{\circ }$作为起始点的话，均值就变成了$0^{\circ }$，标准差为$1^{\circ }$。显然这样的方式建模与选择的起始点有关，这样是不合适的！
现在考虑周期性变量 D = { θ 1 , … , θ N } \mathcal { D } = \left\{ \theta _ { 1 } , \ldots , \theta _ { N } \right\} D={θ1​,…,θN​}，显然直接计算$\left({\theta }_1+\cdots +{\theta }_N\right)/N$将会很依赖坐标的选择。因此我们可以把这个周期性的变量建模为二维单位变量${\mathbf{x}}_1,\dots ,{\mathbf{x}}_N$，$\Vert {\mathbf{x}}_n\Vert =1$。

$$\overline{\mathbf{x}}=\frac{1}{N}\sum _{n=1}^N{\mathbf{x}}_n$$
这样找到的均值位置点就与初始点角度无关，在笛卡尔坐标系下，${\mathbf{x}}_n=\left(\cos {\theta }_n,\sin {\theta }_n\right)$，那么可以进一步定义$\overline{\mathbf{x}}=(\overline{r}\cos \overline{\theta },\overline{r}\sin \overline{\theta })$，可以得到
$$\overline{\theta }={\tan }^{-1}\left\{\frac{{\sum }_n\sin {\theta }_n}{{\sum }_n\cos {\theta }_n}\right\}$$
我们稍后会看到，对于周期变量，如果恰当定义⼀个概率分布，最⼤似然⽅法可以很⾃然地得出这个结果。
我们现在考虑⾼斯分布对于周期变量的⼀个推⼴：von Mises分布，这个分布必须满足一下条件：
$$\begin{array}{rl}p(\theta )& ⩾0\\ p(\theta )\mathrm{d}\theta & =1\\ p(\theta +2\pi )& =p(\theta )\end{array}$$
其中$p(\theta +M2\pi )=p(\theta )$ for any integer $M$
首先考虑一个二元高斯分布
$$p\left(x_1,x_2\right)=\frac{1}{2\pi {\sigma }^2}\exp \left\{-\frac{{\left(x_1-{\mu }_1\right)}^2+{\left(x_2-{\mu }_2\right)}^2}{2{\sigma }^2}\right\}$$
显然它的常数轮廓为圆形，通过一下构造可以使其具有周期性，可能并未归一化
$$x_1=r\cos \theta ,x_2=r\sin \theta$$
$${\mu }_1=r_0\cos {\theta }_0,{\mu }_2=r_0\sin {\theta }_0$$
我们仅仅考虑$r=1$的圆，且看高斯分布的指数部分
$$\begin{array}{l}-\frac{1}{2{\sigma }^2}\left\{{\left(r\cos \theta -r_0\cos {\theta }_0\right)}^2+{\left(r\sin \theta -r_0\sin {\theta }_0\right)}^2\right\}\\ =-\frac{1}{2{\sigma }^2}\left\{1+r_0^2-2r_0\cos \theta \cos {\theta }_0-2r_0\sin \theta \sin {\theta }_0\right\}\\ =\frac{r_0}{{\sigma }^2}\cos \left(\theta -{\theta }_0\right)+\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}\end{array}$$
令$m=r_0/{\sigma }^2$，
p ( θ ∣ θ 0 , m ) = 1 ∣ 2 π I 0 ( m ) exp ⁡ { m cos ⁡ ( θ − θ 0 ) } p \left( \theta | \theta _ { 0 } , m \right) = \frac { 1 | } { 2 \pi I _ { 0 } ( m ) } \exp \left\{ m \cos \left( \theta - \theta _ { 0 } \right) \right\} p(θ∣θ0​,m)=2πI0​(m)1∣​exp{mcos(θ−θ0​)}
以上就被称为von Mises distribution，
I 0 ( m ) = 1 2 π ∫ 0 2 π exp ⁡ { m cos ⁡ θ } d θ I _ { 0 } ( m ) = \frac { 1 } { 2 \pi } \int _ { 0 } ^ { 2 \pi } \exp \{ m \cos \theta \} \mathrm { d } \theta I0​(m)=2π1​∫02π​exp{mcosθ}dθ

当$m$较大的时候，近似为高斯分布！下面开始考虑这个分布对参数$m,{\theta }_0$的MLE,对数似然函数为
$$\ln p\left(\mathcal{D}|{\theta }_0,m\right)=-N\ln (2\pi )-N\ln I_0(m)+m\sum _{n=1}^N\cos \left({\theta }_n-{\theta }_0\right)$$
经过推导可以得到
$${\theta }_0^{\mathrm{M}\mathrm{L}}={\tan }^{-1}\left\{\frac{{\sum }_n\sin {\theta }_n}{{\sum }_n\cos {\theta }_n}\right\}$$
跟之前得到的结果一致。对于$m$的估计就比较复杂，这里给出结果
$$A(m)=\frac{1}{N}\sum _{n=1}^N\cos \left({\theta }_n-{\theta }_0^{\mathrm{M}\mathrm{L}}\right)$$
$$A\left(m_{\mathrm{M}\mathrm{L}}\right)=\left(\frac{1}{N}\sum _{n=1}^N\cos {\theta }_n\right)\cos {\theta }_0^{\mathrm{M}\mathrm{L}}-\left(\frac{1}{N}\sum _{n=1}^N\sin {\theta }_n\right)\sin {\theta }_0^{\mathrm{M}\mathrm{L}}$$

2.3.9 Mixtures of Gaussians

尽管高斯分布有着很多很好的特性，但是高斯分布仅仅为单峰分布，有些多模态的分布它并不能很好的拟合

但是高斯混合分布就能很好地解决这个
$$p(\mathbf{x})=\sum _{k=1}^K{\pi }_k\mathcal{N}\left(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k\right)$$
$$\sum _{k=1}^K{\pi }_k=1$$

可以令${\pi }_k=p(k)$，那么这个可以看作为类别的先验
$$p(\mathbf{x})=\sum _{k=1}^{K}p(k)p(\mathbf{x}|k)$$
根据贝叶斯公式，可以得到后验概率
$$\begin{array}{rl}{\gamma }_k(\mathbf{x})& \equiv p(k|\mathbf{x})\\ & =\frac{p(k)p(\mathbf{x}|k)}{{\sum }_{l}p(l)p(\mathbf{x}|l)}\\ & =\frac{{\pi }_k\mathcal{N}\left(\mathbf{x}|{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k\right)}{{\sum }_l{\pi }_l\mathcal{N}\left(\mathbf{x}|{\mathbf{\mu }}_l,{\mathbf{\Sigma }}_l\right)}\end{array}$$
对于高斯混合模型的MLE后续将会介绍使用EM算法求得。

2.4 The Exponential Family

指数族分布的形式统一为$$p(\mathbf{x}|\mathbf{\eta })=h(\mathbf{x})g(\mathbf{\eta })\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}(\mathbf{x})\right\}$$
其中$\mathbf{\eta }$为natural parameters。按照分布的积分为1的原则
$$g(\mathbf{\eta })\int h(\mathbf{x})\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}(\mathbf{x})\right\}\mathrm{d}\mathbf{x}=1$$
下面具体介绍几个可以化成指数族分布的分布

1) Bernoulli distribution

$$p(x|\mu )=\mathrm{Bern}(x|\mu )={\mu }^x(1-\mu {)}^{1-x}$$ p ( x ∣ μ ) = exp ⁡ { x ln ⁡ μ + ( 1 − x ) ln ⁡ ( 1 − μ ) } = ( 1 − μ ) exp ⁡ { ln ⁡ ( μ 1 − μ ) x } \begin{aligned} p ( x | \mu ) &amp; = \exp \{ x \ln \mu + ( 1 - x ) \ln ( 1 - \mu ) \} \\ &amp; = ( 1 - \mu ) \exp \left\{ \ln \left( \frac { \mu } { 1 - \mu } \right) x \right\} \end{aligned} p(x∣μ)​=exp{xlnμ+(1−x)ln(1−μ)}=(1−μ)exp{ln(1−μμ​)x}​$$\eta =\ln \left(\frac{\mu }{1-\mu }\right)$$$$\sigma (\eta )=\frac{1}{1+\exp (-\eta )}$$$$p(x|\eta )=\sigma (-\eta )\exp (\eta x)$$$$\begin{array}{rl}u(x)|& =x\\ h(x)& =1\\ g(\eta )& =\sigma (-\eta )\end{array}$$

2) multinomial distribution

$$p(\mathbf{x}|\mathbf{\mu })=\prod _{k=1}^M{\mu }_k^{x_k}=\exp \left\{\sum _{k=1}^M{x}_k\ln {\mu }_k\right\}$$$$p(\mathbf{x}|\mathbf{\eta })=\exp \left({\mathbf{\eta }}^{\mathrm{T}}\mathbf{x}\right)$$
其中${\eta }_k=\ln {\mu }_k$
$$\begin{array}{rl}\mathbf{u}(\mathbf{x})& =\mathbf{x}\\ h(\mathbf{x})& =1\\ g(\mathbf{\eta })& =1\end{array}$$
需要说明的是，${\mu }_k$并不是独立的，而是满足
$$\sum _{k=1}^M{\mu }_k=1$$
也就是说在之前其中$M-1$个值后，便可通过这个约束得到最后的值。为了简化参数量，并利用这个约束关系，我们可以只用$M-1$个参数，且它们仍要满足
$$0⩽{\mu }_k⩽1,\sum _{k=1}^{M-1}{\mu }_k⩽1$$
则$$\begin{array}{rl}\exp \left\{\sum _{k=1}^M{x}_k\ln {\mu }_k\right\}& \\ & =\exp \left\{\sum _{k=1}^{M-1}{x}_k\ln {\mu }_k+\left(1-\sum _{k=1}^{M-1}{x}_k\right)\ln \left(1-\sum _{k=1}^{M-1}{\mu }_k\right)\right\}\\ & =\exp \left\{\sum _{k=1}^{M-1}{x}_k\ln \left(\frac{{\mu }_k}{1-{\sum }_{j=1}^{M-1}{\mu }_j}\right)+\ln \left(1-\sum _{k=1}^{M-1}{\mu }_k\right)\right\}\end{array}$$令$$\ln \left(\frac{{\mu }_k}{1-{\sum }_j{\mu }_j}\right)={\eta }_k$$则$${\mu }_k=\frac{\exp \left({\eta }_k\right)}{1+{\sum }_j\exp \left({\eta }_j\right)}$$所以$$p(\mathbf{x}|\mathbf{\eta })={\left(1+\sum _{k=1}^{M-1}\exp \left({\eta }_k\right)\right)}^{-1}\exp \left({\mathbf{\eta }}^{\mathrm{T}}\mathbf{x}\right)$$$$\begin{array}{rl}\mathbf{u}(\mathbf{x})& =\mathbf{x}\\ h(\mathbf{x})& =1\\ g(\mathbf{\eta })& ={\left(1+\sum ^{M-1}\exp \left({\eta }_k\right)\right)}^{-1}\end{array}$$

3) Gaussian distribution

$$\begin{array}{rl}p\left(x|\mu ,{\sigma }^2\right)& =\frac{1}{{\left(2\pi {\sigma }^2\right)}^{1/2}}\exp \left\{-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\right\}\\ & =\frac{1}{{\left(2\pi {\sigma }^2\right)}^{1/2}}\exp \left\{-\frac{1}{2{\sigma }^2}{x}^2+\frac{\mu }{{\sigma }^2}x-\frac{1}{2{\sigma }^2}{\mu }^2\right\}\end{array}$$$$\begin{array}{rl}\mathbf{\eta }& =\left(\begin{array}{c}\mu /{\sigma }^2\\ -1/2{\sigma }^2\end{array}\right)\\ \mathbf{u}(x)& =\left(\begin{array}{c}x\\ x^2\end{array}\right)\\ h(\mathbf{x})& =(2\pi {)}^{-1/2}\\ g(\mathbf{\eta })& ={\left(-2{\eta }_2\right)}^{1/2}\exp \left(\frac{{\eta }_1^2}{4{\eta }_2}\right)\end{array}$$

2.4.1 Maximum likelihood and sufficient statistics

$$\begin{array}{l}\nabla g(\mathbf{\eta })\int h(\mathbf{x})\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}(\mathbf{x})\right\}\mathrm{d}\mathbf{x}\\ +g(\mathbf{\eta })\int h(\mathbf{x})\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}(\mathbf{x})\right\}\mathbf{u}(\mathbf{x})\mathrm{d}\mathbf{x}=0\end{array}$$$$-\frac{1}{g(\mathbf{\eta })}\nabla g(\mathbf{\eta })=g(\mathbf{\eta })\int h(\mathbf{x})\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\mathbf{u}(\mathbf{x})\right\}\mathbf{u}(\mathbf{x})\mathrm{d}\mathbf{x}=\mathbb{E}[\mathbf{u}(\mathbf{x})]$$$$-\nabla \ln g(\mathbf{\eta })=\mathbb{E}[\mathbf{u}(\mathbf{x})]$$
那么对于MLE，对于独立同分布的观测数据$\mathbf{X}={\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_n$其似然函数为
$$p(\mathbf{X}|\mathbf{\eta })=\left(\prod _{n=1}^{N}h\left({\mathbf{x}}_n\right)\right)g(\mathbf{\eta }{)}^N\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\sum _{n=1}^N\mathbf{u}\left({\mathbf{x}}_n\right)\right\}$$
上式ln对$\mathbf{\eta }$求导可得
$$-\nabla \ln g\left({\mathbf{\eta }}_{\mathrm{M}\mathrm{L}}\right)=\frac{1}{N}\sum _{n=1}^N\mathbf{u}\left({\mathbf{x}}_n\right)$$当$N\to \infty$时，这个正好就是$\mathbb{E}[\mathbf{u}(\mathbf{x})]$，所以${\mathbf{\eta }}_{\mathrm{M}\mathrm{L}}$=$\mathbf{\eta }$。

2.4.2 Conjugate priors

对于任何指数族分布都存在共轭先验
$$p(\mathbf{\eta }|\mathbf{\chi },\nu )=f(\mathbf{\chi },\nu )g(\mathbf{\eta }{)}^{\nu }\exp \left\{\nu {\mathbf{\eta }}^{\mathrm{T}}\mathbf{\chi }\right\}$$
这样一来，后验为
$$p(\mathbf{\eta }|\mathbf{X},\chi ,\nu )\propto g(\mathbf{\eta }{)}^{\nu +N}\exp \left\{{\mathbf{\eta }}^{\mathrm{T}}\left(\sum _{n=1}^N\mathbf{u}\left({\mathbf{x}}_n\right)+\nu \chi \right)\right\}$$

2.4.3 Noninformative priors

在某些概率推断的应⽤中，我们可能有⼀些先验知识，可以⽅便地通过先验概率分布表达出来。例如，如果先验分布令变量的某些值的概率为零，那么后验分布也将会使那些值的概率为零，与后续的数据观测⽆关。但是，在许多情形下，我们可能对分布应该具有的形式⼏乎完全不知道。这时，我们可以寻找⼀种形式的先验分布，被称为⽆信息先验（noninformative prior）。这种先验分布的⽬的是尽量对后验分布产⽣尽可能⼩的影响。这有时被称为“让数据⾃⼰说话”。最直观地想法就是采用常数先验，离散情况下很简答，但是对于连续的情况，很有可能导致不符合概率的性质。
如果我们要选择⼀个常数的先验概率分布，那么我们必须注意对于参数要使⽤⼀个
合适的表达形式。
这里考虑两个简单的例子：

1)平移不变性

对于具有这样形式的概率分布$$p(x|\mu )=f(x-\mu )$$具有平移不变性。如果$\hat{x}=x+c$，则
$$p(\hat{x}|\hat{\mu })=f(\hat{x}-\hat{\mu })$$
其中$\hat{\mu }=\mu +c$。因此新变量的概率密度的形式与原变量相同，因此概率密度与原点的选择⽆关。我们想要选择⼀个能够反映这种平移不变性的先验分布，就必须满足
$${\int }_A^{B}p(\mu )\mathrm{d}\mu ={\int }_{A-c}^{B-c}p(\mu )\mathrm{d}\mu ={\int }_A^{B}p(\mu -c)\mathrm{d}\mu$$为了能够对任意$A,B$都满足，那么$p(\mu )$为一个常数。之前在高斯分布中，对于均值的先验采用的是高斯分布$p\left(\mu |{\mu }_0,{\sigma }_0^2\right)=\mathcal{N}\left(\mu |{\mu }_0,{\sigma }_0^2\right)$，显然当${\sigma }_0^2\to \infty$时，这个高斯就很像一个常数了，且从之前得到的后验分布来看
$$\begin{array}{rl}{\mu }_N& =\frac{{\sigma }^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_0+\frac{N{\sigma }_0^2}{N{\sigma }_0^2+{\sigma }^2}{\mu }_{\mathrm{M}\mathrm{L}}\\ \frac{1}{{\sigma }_N^2}& =\frac{1}{{\sigma }_0^2}+\frac{N}{{\sigma }^2}\end{array}$$
其先验随着${\sigma }_0^2\to \infty$时就差不多消失了。达到了预期的目的。

2)缩放不变性

对于概率形式为
$$p(x|\sigma )=\frac{1}{\sigma }f\left(\frac{x}{\sigma }\right)$$其中$\sigma >0$。当$\hat{x}=cx$，$$p(\hat{x}|\hat{\sigma })=\frac{1}{\hat{\sigma }}f\left(\frac{\hat{x}}{\hat{\sigma }}\right)$$其中已经定义了$\hat{\sigma }=c\sigma$。在此如果我们想找到一个描述这样性质的先验，必须满足$${\int }_A^{B}p(\sigma )\mathrm{d}\sigma ={\int }_{\frac{A}{c}}^{\frac{B}{c}}p(\sigma )\mathrm{d}\sigma ={\int }_A^{B}p\left(\frac{1}{c}\sigma \right)\frac{1}{c}\mathrm{d}\sigma$$当对任意$A,B$都成立，那么$p(\sigma )\propto \frac{1}{\sigma }$，因为在$0\le \sigma \le \infty$上的积分是发散的，所以这个是反常先验分布。令$z=ln\sigma$，$$p(z)=p(\sigma )|\frac{d\sigma }{dz}|=常数$$。因此，对于这个先验分布，在区间[1,10]和区间[10,100]以及区间[100,1000]上具有相同的概率质量。具体的例子也是高斯分布$$\mathcal{N}\left(x|\mu ,{\sigma }^2\right)\propto {\sigma }^{-1}\exp \left\{-{\left(\frac{\tilde{x}}{\sigma }\right)}^2\right\}$$之前不考虑方差，而是考虑精度$\lambda =\frac{1}{{\sigma }^2}$，而对精度得先验采用的是Gamma分布$$\mathrm{Gam}(\lambda |a,b)=\frac{1}{\Gamma (a)}{b}^a{\lambda }^{a-1}\exp (-b\lambda )$$，当$a=b=0$时，有$p(\lambda )\propto \frac{1}{\lambda }$，这个时候刚好满足之前的定义，再看之前的后验概率$$\begin{array}{rl}{a}_N& =a_0+\frac{N}{2}\\ b_N& =b_0+\frac{1}{2}\sum _{n=1}^N{\left(x_n-\mu \right)}^2=b_0+\frac{N}{2}{\sigma }_{\mathrm{M}\mathrm{L}}^2\end{array}$$当$a=b=0$时，后验概率只与数据相关！

2.5 Nonparametric Methods

本章中，我们已经关注过的概率分布都有具体的函数形式，并且由少量的参数控制。这些参数的值可以由数据集确定。这被称为概率密度建模的参数化（parametric）⽅法。这种⽅法的⼀个重要局限性是选择的概率密度可能对于⽣成数据来说，是⼀个很差的模型，从⽽会导致相当差的预测表现。流⼊，如果⽣成数据的过程是多峰的，那么这种分布不可能被⾼斯分布描述，因为它是单峰的。在最后⼀节，我们考虑⼀些⾮参数化（nonparametric）⽅法进⾏概率密度估计。这种⽅法对概率分布的形式进⾏了很少的假设。

2.5.1 Kernel density estimators

对于一个$D$维的未知分布$p(\mathbf{x})$，在一个小区域$\mathcal{R}$
$$P={\int }_{\mathcal{R}}p(\mathbf{x})\mathrm{d}\mathbf{x}$$假设现在有$N$个观测数据，且以$P$的概率落入区域$\mathcal{R}$中，总共有$K$个点落入区域中的概率刚好可以表示为二项分布
$$\mathrm{Bin}(K|N,P)=\frac{N!}{K!(N-K)!}{P}^K(1-P{)}^{1-K}$$
$\mathbb{E}[K/N]=P$，$\mathrm{var}[K/N]=P(1-P)/N$，当$N$很大时，$$K\simeq NP$$当该区域相当小的时候，就可近似认为这个区域中的概率为常数$$P\simeq p(\mathbf{x})V$$$$p(\mathbf{x})=\frac{K}{NV}$$假设该区域为超立方体，且中心点为$\mathbf{x}$，为了后续计数方便，定义$$k(\mathbf{u})=\{\begin{array}{ll}1,& \left|u_i\right|⩽1/2,i=1,\dots ,D\\ 0,& \text{ otherwise }\end{array}$$这个函数称为kernel函数，那么总共落入该区域的点为$$K=\sum _{n=1}^{N}k\left(\frac{\mathbf{x}-{\mathbf{x}}_n}{h}\right)$$$$p(\mathbf{x})=\frac{1}{N}\sum _{n=1}^N\frac{1}{h^D}k\left(\frac{\mathbf{x}-{\mathbf{x}}_n}{h}\right)$$但是这个方法在立方体的边界时会不连续，因此考虑选择一个平滑的核函数$$p(\mathbf{x})=\frac{1}{N}\sum _{n=1}^N\frac{1}{{\left(2\pi h^2\right)}^{1/2}}\exp \left\{-\frac{{\Vert \mathbf{x}-{\mathbf{x}}_n\Vert }^2}{2h^2}\right\}$$
核函数需要满足以下条件$$\begin{array}{c}k(\mathbf{u})\ge 0\\ \int k(\mathbf{u})\mathrm{d}\mathbf{u}=1\end{array}$$KDE的好处是不需要训练，但是测试阶段的损耗会随着训练数据集的变大而增大！

2.5.2 Nearest-neighbour methods

核⽅法进⾏概率密度估计的⼀个困难之处是控制核宽度的参数$h$对于所有的核都是固定的。在⾼数据密度的区域，⼤的$h$值可能会造成过度平滑，并且破坏了本应从数据中提取出的结构。但是，减⼩$h$的值可能导致数据空间中低密度区域估计的噪声。因此，$h$的最优选择可能依赖于数据空间的位置。这个问题可以通过概率密度的近邻⽅法解决。$$p(\mathbf{x})=\frac{K}{NV}$$KDE是固定$V$求$K$，而NNM则是固定$K$求$V$。其核心想法是定义个球体，且球体的半径增大到包含了$K$个点为止，其做估计的结果如下

可以看出，在KNN这个方法中也是有个参数$K$需要调节的。
最后介绍下KNN用于分类的概率解释
总共有$N$个点，每个类别${\mathcal{C}}_k$中有$N_k$个点。则${\sum }_k{N}_k=N$。对于一个新的点$\mathbf{x}$，以它为球心，让该球体包含$K$个点，其体积为$V$，那么按照之前密度估计可得$$p\left(\mathbf{x}|{\mathcal{C}}_k\right)=\frac{K_k}{N_{k}V}$$$$p(\mathbf{x})=\frac{K}{NV}$$且每个类别的先验为$$p\left({\mathcal{C}}_k\right)=\frac{N_k}{N}$$则$$p\left({\mathcal{C}}_k|\mathbf{x}\right)=\frac{p\left(\mathbf{x}|{\mathcal{C}}_k\right)p\left({\mathcal{C}}_k\right)}{p(\mathbf{x})}=\frac{K_k}{K}$$
正如到⽬前为⽌讨论的那样，K近邻⽅法和核密度估计⽅法都需要存储整个训练数据。如果数据集很⼤的话，这会造成很⼤的计算代价。通过建⽴⼀个基于树的搜索结构，使得（近似）近邻可以⾼效地被找到，⽽不必遍历整个数据集，这种计算代价可以被抵消，代价就是需要进⾏⼀次性的额外计算量。尽管这样，这些⾮参数化⽅法仍然有很⼤的局限性。另⼀⽅⾯，我们已经看到，简单的参数化模型⾮常受限，因为它们只能表⽰某⼀种形式的概率分布。因此我们需要寻找⼀种概率密度模型，这种模型需要⾮常灵活，并且它的复杂度可以被控制为与训练数据的规模⽆关。我们在后续章节中将会看到如何找到这种概率密度模型。