机器学习笔记之狄利克雷过程(二)基于标量参数作用的推导过程

引言

上一节以高斯混合模型为引，简单介绍了狄利克雷过程($\text{Dirichlet Process,DP}$)。本节将通过公式推导描述标量参数$\alpha$的作用。

回顾：狄利克雷过程——基本介绍

狄利克雷过程本质上是分布的分布。基于给定的样本集合 X = { x ( i ) } i = 1 N \mathcal X= \{x^{(i)}\}_{i=1}^N X={ x(i)}i=1N​，我们针对每个样本$x^{(i)}(i=1,2,\cdots ,N)$构建一个对应参数${\theta }^{(i)}(i=1,2,\cdots ,N)$。对应的参数集合$\theta$为：
θ = { θ ( i ) } i = 1 N \theta = \{\theta^{(i)}\}_{i=1}^N θ={ θ(i)}i=1N​
关于狄利克雷过程，它的表达形式表示如下：
$$\mathcal{G}\sim \text{DP}[\alpha ,\mathcal{H}(\theta )]$$
其中$\mathcal{G}$是狄利克雷过程产生的样本结果，本身是一个离散分布($\text{Discrete Distribution}$)；$\mathcal{H}(\theta )$表示关于参数集合$\theta$的概率分布；$\alpha$则是一个调整分布结果$\mathcal{G}$离散程度的标量参数，且$\alpha >0$。

关于标量参数$\alpha$：

• 当$\alpha =0$时，此时的离散分布$\mathcal{G}$极度离散，无论如何随机采样，只能映射唯一的离散结果；
• 当$\alpha =\infty$时，此时离散分布$\mathcal{G}$在采样过程中，可能存在无穷多种离散结果提供选择，并且每种选择均存在对应的概率值。此时的$\mathcal{G}=\mathcal{H}(\theta )$。

下面会用公式推导的方式对上述两种情况进行描述。

狄利克雷过程——定义

根据上面的描述，如果分布$\mathcal{G}$是一个优秀的离散分布，那么从分布$\mathcal{G}$中产生的样本 θ ( i ) , θ ( j ) ( i , j ∈ { 1 , 2 , ⋯   , N } ; i ≠ j ) \theta^{(i)},\theta^{(j)}(i,j \in \{1,2,\cdots,N\};i \neq j) θ(i),θ(j)(i,j∈{ 1,2,⋯,N};i=j)必然存在${\theta }^{(i)}={\theta }^{(j)}$的情况发生。
也就是说,${\theta }^{(i)}={\theta }^{(j)}$意味着$x^{(i)},x^{(j)}$均指向了同一聚类信息。

此时，将不同结果的${\theta }^{(i)}$收集起来，其结果数量必然$<N$，$\theta$结果相同对应的样本子集${\mathcal{X}}_{\theta }$自然就聚类在一起，实现聚类数量$\mathcal{K}<N$的情况。
关于高斯混合模型的示例，详见狄利克雷过程——基本介绍

重新观察狄利克雷过程$\text{DP}(\alpha ,\mathcal{H})$，关于$\theta$的概率分布$\mathcal{H}(\theta )$被称作基本测度($\text{Base Measure}$)。从采样的角度观察狄利克雷过程与高斯混合模型，观察它们之间的区别：
作为区分，将$\varphi$作为高斯混合模型概率密度函数的参数。
$$\{\begin{array}{l}\mathcal{G}\sim \text{DP}(\alpha ,\mathcal{H})\\ x^{(j)}\sim \mathcal{P}(\mathcal{X};\varphi )\end{array}$$

能够发现：

• 从高斯混合模型中采样得到的结果是一个样本空间中的样本点；

• 从狄利克雷过程中采样得到的结果是一个完整分布，是一个随机离散型概率测度($\text{Random Discrete Probability Measure}$)。

  假设${\mathcal{G}}^{(i)}$是从$\text{DP}(\alpha ,\mathcal{H})$中采样得到的一个样本，那么离散分布${\mathcal{G}}^{(i)}$表示为如下形式：
  这里假设${\mathcal{G}}^{(i)}$是一个一维的分布
  $${\mathcal{G}}^{(i)}=\left(g_1^{(i)},g_2^{(i)},\cdots ,g_{\mathcal{K}}^{(i)}\right)\sum _{k=1}^{\mathcal{K}}{g}_k^{(i)}=1$$
  其中 g k ( i ) ( k ∈ { 1 , 2 , ⋯   , K } ) g_k^{(i)}(k \in \{1,2,\cdots,\mathcal K\}) gk(i)​(k∈{ 1,2,⋯,K})表示编号$k$离散结果的权重/概率信息。即便$\alpha$取值相同(${\alpha }_{same}$)，对应产生的随机离散分布 G ( i ) , G ( j ) ( i ≠ j ; G ( i )