狄利克雷过程（Dirichlet Process）

0. 引入

现观察得到两个样本 $\theta_1,\theta_2$，来推测它们可能来自的分布：

• 假设来自于连续型概率密度函数， $\theta_1,\theta_2\sim H(\theta)$
  
  • 则 $\theta_1,\theta_2$ 相等的概率为 0，$p(\theta_1=\theta_2)=0$
  • 概率为 0，不代表不可能发生，仍有发生的可能，只不过概率的测度为 0；（详见测度论相关知识）
  • 纵然二者仍有可能相等，但因其概率测度为 0，实际上我们也只能视二者为不同的值；
• 假设来自于一种离散型概率质量函数，我们仍希望其具有与连续型分布函数相类似的形式，记此时的离散分布为 $G$，想要其与连续型概率密度函数形式相近，又不至于像连续型那样任意产生的两个样本几乎可以视为不相等，则需要 $G\sim DP(\alpha, H)$，这就是狄利克雷过程（当然严格的 DP 不要求 $H$ 一定为连续，也可以为离散，称其为，base measure）；
  
  • $\alpha>0$ 的 scalar，控制 $G$ 的离散程度，其值越小与不离散，
    
    • 极限思维法，什么情况下，$G$ 会达到最离散的状态呢，即只有一个值（$\alpha=0$），使用一个值去代表一个分布；
    • $\alpha=\infty$，$G=H$

    1. DP

    一般而言，样本从一个分布中得到，$x\sim P(X|\theta)$，也即我们可从一个分布中得到样本，不管这是几维的样本，总之是一个值；

    但对于 DP 而言，$G\sim DP(\alpha,H)$ 却是从分布得分布，产生的不是一个值，而是整个分布，从 base measure 产生一个 random discrete probability measure，最终产生的分布仍然是随机的，也即每次 draw（抽样）得到的都不一样。

    那么这样的 $G$ 需要满足什么样的特性呢，对任意一次 draw 得到的 $G$ 做任意次的划分（$\alpha_1,\cdots,\alpha_d$），则 $G(\alpha_1,\ldots,\alpha_d) \sim Dir()$（需要满足狄利克雷分布）