Dirichlet Process

Introduction

考虑如下一个随机过程
给定分布$G_0$，一个正实数$\alpha$

1. 从分布$G_0$中采样$X_1$
2. $n>1$时：
   以概率$\frac{\alpha }{n-1+\alpha }$ 从$G_0$中采样$X_n$
   以概率$\frac{1}{n-1+\alpha }$, $X_n=X_i$

这个随机过程的样本轨道的联合分布根据链式法则,可以写成:
$$P(X_1,X_2,...,X_n)=P(X_1)P(X_2|X_1)\ast ...\ast P(X_n|X_1,X_2,...,X_{n-1})$$
样本轨道的第n个位置的条件概率为：
$$P(X_n|X_1,..,X_{n-1})=\frac{\alpha }{n-1+\alpha }{G}_0(X_n)\prod _{i=1}^{n-1}{\delta }_{X_n̸=X_i}+\frac{1}{n-1+\alpha }\sum _{i=1}^{n-1}{\delta }_{X_n=X_i}$$

可以计算出联合分布为
$$P(X_1,X_2,...,X_n)=\frac{{\alpha }^K{\prod }_{k=1}^{K}num(x_k-1)!}{\alpha (1+\alpha )...(n-1+\alpha )}\prod _{i=1}^K{G}_0(x_k)$$

上述公式中$X_n$表示第n个样本的取值，$x_k$表示样本取值为第k个状态。
可以看到，这个随机过程产生的样本，虽然不是独立的，但是样本轨道的联合分布，却与样本出现的顺序无关，也就是说样本轨道是可交换的，根据
De Finett表示定理，存在一个分布$P$，$X_1,X_2,...,X_n$在$P$的条件下独立。
上述随机过程等价于
给定分布$G_0$与正实数$\alpha$
$P\sim DP(G_0,\alpha )$
$X_1,X_2,...,X_n\sim P$

Defination

给定可测集$S$,正实数$\alpha$,$S$上的分布$G_0$,$P\sim GP(G_0,\alpha )$,若对S上的任意有限划分 { A i } K \{A_i\}_K {Ai​}K​,都有：
$$P(A_1),P(A_2),...,P(A_k)\sim Dir(\alpha G_0(A_1),\alpha G_0(A_2),...,\alpha G_0(A_K)$$
那么$GP(G_0,\alpha )$称为Dirichlet 过程

Dirichlet过程是一个分布上的分布。Dirichlet过程产生的每一个轨道，都是在S的任意划分上的一个Dirichlet分布
如果G是Dirichlet过程的一个样本轨道，那么G的表达形式为
$$G(x)=\sum {\pi }_i{\delta }_{{\theta }_i}(x)$$
其中$\sum {\pi }_i=1$

Dirichlet分布将原来连续的分布转化为了与原分布相似的一个离散的分布，随着$\alpha$的增大，这个相似程度原来越大，当$\alpha =+\infty$时，G与原分布式相同的

Example

1. 中餐馆模型

有一个中餐馆有无限张桌子，每来一个客人都会有两个选择，以$\frac{1}{n-1+\alpha }$与其中一个人坐同一张桌子，以$\frac{\alpha }{n-1+\alpha }$自己坐一个新的桌子。
注意到这个过程和上述Introduction部分的过程是一样的，不作深入解释

Stick Breaking

给定一个参数为$\alpha$的$Beta$分布$Beta(1,\alpha )$，以及一个基分布$G_0$
$$\begin{gathered} {\beta }_i\sim Beta(1,\alpha ) \\ {\theta }_i\sim G_0 \\ {\pi }_i={\beta }_i\prod _{j<i}(1-{\beta }_j) \\ G(x)=\sum _{i=1}^{+\infty }{\pi }_i{\delta }_{{\theta }_i}(x) \end{gathered}$$

相当于一根总长度为1的过程，不断的把剩余的部分切下来一小段分配给当前从基分布中产生的样本。

Dirichlet 过程的共轭

Dirichlet 过程的共轭是一个Dirichlet过程
$$\begin{gathered} G\sim DP(G_0,\alpha ) \\ \theta \sim G\text{ is observed} \end{gathered}$$
那么
$$P(G|\theta )\sim DP(\frac{\alpha }{1+\alpha }{G}_0+\frac{1}{1+\alpha }{\delta }_{\theta },\alpha +1)$$
如果有n-1个样本
$$P(G|{\theta }_1,...,{\theta }_{n-1})\sim DP(\frac{\alpha }{n-1+\alpha }{G}_0+\frac{1}{n-1+\alpha }\sum _{i=1}^n{\delta }_{{\theta }_i},\alpha -1+n)$$
新样本${\theta }_n$
$$P({\theta }_n|{\theta }_1,...{\theta }_{n-1},G_0,\alpha )=\frac{\alpha }{n-1+\alpha }{G}_0+\frac{1}{n-1+\alpha }\sum _{i=1}^{n-1}{\delta }_{{\theta }_i}$$
同时
$$P({\theta }_1,...{\theta }_n|G_0,\alpha )={\int }_G\prod _{i=1}^{n}P({\theta }_i|G)P(G|G_0,\alpha )dG$$
上述结果表明，当我们将Dirichlet过程的中间变量边缘化之后，任意样本之间都是相关的，其后验分布是一个Dirichlet过程

Dirichlet Process 的应用

Dirichlet 过程混合

我们假设分布有K个成分组合起来
$$\begin{gathered} f(x)=\sum _{j=1}^K{w}_{j}f(x;{\theta }_j) \\ \sum _{i=1}^K{w}_i=1 \end{gathered}$$
我们需要对成分K的分布进行建模，然而，任何有限的K值都是不合理的
而上述的stick breaking模型，恰好能够产生无穷多个权重，且权重之和为1。即：
$$\begin{gathered} f(x)=\sum _{j=1}^{+\infty }{w}_{j}f(x;{\theta }_j) \\ \sum _{i=1}^{+\infty }{w}_i=1 \end{gathered}$$
相当于$K=+\infty$
也就是说我们假设x是由无穷多个成分混合起来的。
stick breaking对应的Dirichlet过程为
$$\begin{gathered} G\sim GP(G_0,\alpha ) \\ \theta |G\sim G \\ {X}_i|{\theta }_i\sim f(x;{\theta }_i) \end{gathered}$$
为了确定每个$x_i$对应的${\theta }_i$,即$P({\theta }_1,{\theta }_2,...,{\theta }_n|x_1,x_2,...,x_n,\alpha ,G_0)$
我们需要使用Gibbs采样
先考虑${\theta }_i,x_i$的条件分布
$$p({\theta }_i,x_i|{\theta }_{-i},x_{-i},\alpha ,G_0)=p(x_i|{\theta }_i)p({\theta }_i|{\theta }_{-i},\alpha ,G_0)$$
根据贝叶斯公式
$$p({\theta }_i|x_i,\lambda )\propto p({\theta }_i,x_i|\lambda )$$
而我们已经知道：
$$p({\theta }_i|{\theta }_{-i},G_0,\alpha )=\frac{\alpha }{n-1+\alpha }{G}_0+\frac{1}{n-1+\alpha }\sum _{j̸=i}{\delta }_{{\theta }_j}$$

也就是说
$$\begin{gathered} p({\theta }_i|x_i,{\theta }_{-i},x_{-i},\alpha ,G_0)\propto p(x_i|{\theta }_i)p({\theta }_i|{\theta }_{-i},\alpha ,G_0) \\ p({\theta }_i|x_i,{\theta }_{-i},x_{-i},\alpha ,G_0)=r_i{G}_i({\theta }_i)+\sum _{j̸=i}{q}_{i,j}{\delta }_{{\theta }_j}({\theta }_i) \end{gathered}$$

其中：
$$G_i({\theta }_i)=\frac{G_0({\theta }_i)p(x_i|{\theta }_i)}{{\int }_{{\theta }_i}{G}_0({\theta }_i)p(x_i|{\theta }_i)d{\theta }_i}$$
为$G_0$在观察到$x_i$时的后验分布
$$r_i=b\ast \alpha$$
$$q_{i,j}=b\ast p(x_i|{\theta }_j)$$
$$\sum _{j̸=i}{q}_{i,j}+r_i=1$$

只要我们使用的$G_0$是与$p(x|\theta )$共轭的分布，就能够得到上述的条件概率，这样Gibbs采样所需的所有条件就全部达成了。
运行Gibbs采样直到收敛，这样我们就可以得到每一个样本$x_i$对应的cluster