机器学习笔记之狄利克雷过程(三)随机测度的生成过程(折棍子过程)

引言

上一节使用公式推导的方式介绍了狄利克雷过程中标量参数$\alpha$的极端取值对于生成的随机测度${\mathcal{G}}^{(i)}$离散程度的影响。本节从随机测度的生成角度对标量参数$\alpha$与离散程度的关系进行描述。

回顾：狄利克雷过程——定义

已知${\mathcal{G}}^{(i)}$服从狄利克雷过程$\text{DP}(\alpha ,\mathcal{H})$：
$${\mathcal{G}}^{(i)}\sim \text{DP}(\alpha ,\mathcal{H})$$

其中，${\mathcal{G}}^{(i)}$被称作随机测度($\text{Random Measure}$)，它是从狄利克雷过程$\text{DP}(\alpha ,\mathcal{H})$中生成的一个样本；并且它的本质是一个离散型概率分布。

假设该分布${\mathcal{G}}^{(i)}$是一个一维随机分布，并且其内部包含$\mathcal{K}$个离散特征：
$${\mathcal{G}}^{(i)}=(g_1^{(i)},g_2^{(i)},\cdots ,g_{\mathcal{K}}^{(i)}{)}^T\sum _{k=1}^{\mathcal{K}}{g}_k^{(i)}=1$$
其中$g_k^{(i)}$表示${\mathcal{G}}^{(i)}$中的第$k$个特征，它的权重信息。其他权重信息对应的示例结果表示如下：

其中，图像中竖线的长度就表示特征权重信息的大小。我们将$\mathcal{K}$个权重结果划分成$\mathcal{D}$个区域，每个区域中可能存在若干个权重结果：

• 其中$a_d(d=1,2,\cdots ,\mathcal{D})$表示区域编号;${\mathcal{G}}^{(i)}(a_d)$表示区域$a_d$内存在的权重结果之和。
• 这仅是一个特征信息重组的部分，总量没有发生变化。
  { G ( i ) ( a 1 ) , G ( i ) ( a