dirichlet process

最新推荐文章于 2022-12-28 20:24:21 发布

baihaoli123

最新推荐文章于 2022-12-28 20:24:21 发布

阅读量2.4k

点赞数 5

分类专栏：贝叶斯文章标签：中国餐馆过程狄利克雷过程非参贝叶斯

本文链接：https://blog.csdn.net/baihaoli123/article/details/52916623

版权

Dirichlet Process

Dirichlet Process

有一句俗话说得好：教学相长。虽然笔者还处于学习的阶段，但把所学的知识加以整理，分享给大家，希望能和大家一起学习进步。本文所用语言并不够正规和严谨，但相对更容易理解。

本文是对徐亦达老师关于Dirichlet Process的视频1的个人总结。

预备

Dirichlet distribution

D i r (μ | α) = Γ ( \sum i α i ) \prod i Γ ( α i ) \prod i μ α i - 1 i

$Dir(\boldsymbol{\mu}|\boldsymbol{\alpha})=\frac{\Gamma(\sum_{i}\alpha_i)}{\prod_{i}\Gamma(\alpha_i)}\prod_{i}\mu_i^{\alpha_i-1}$

Multinomial Distribution

M u l t i (x | μ, K) = n ! \prod i n i ! \prod i μ x i i

$Multi(\boldsymbol{x}|\boldsymbol{\mu},K)=\frac{n!}{\prod_{i}n_i!}\prod_{i}\mu_i^{x_i}$

其中， $\sum_{i}x_i=n, \boldsymbol{x}\in Z^K,\boldsymbol{\mu}\in R^{K}, \Gamma(\cdot)$ 是Gamma函数。

上述分布的很多均值、方差等关系式此处没有罗列，不过可以在很多地方找到2。

关于多项式分布与狄利克雷分布的关系，可以用以下比喻来刻画：假如有K个盒子，n个球，那么上式中， $x_i$ 就是落入第 $i$ 个盒子的球的数量，而 $\mu_i$ 就是衡量每个球有多大可能落入这个盒子。如此看来，dirichlet distribution就是球落入各个盒子可能性的分布，而multinomial distribution就是刻画落入每个盒子有多少个球的分布。

容易验证，dirichlet distribution是multinational distribution的共轭先验，即

$Dir(\boldsymbol{\mu}|\boldsymbol{\alpha})\cdot Multi(\boldsymbol{x}|\boldsymbol{\mu},K) \sim Dir(\mu_1,...\mu_K|\alpha_1+x_1,...\alpha_K+x_K).$

从这样的关系可以发现什么？当有一定的小球落入一些盒子以后，将会影响以后新的小球落入各个盒子的概率。这从直觉上给出了一个很直观的感受，若有很多小球落入一个盒子，那么以后的小球也更可能落入这个盒子，反之亦然，类似于马太效应。从这里出发，我们可以引出中国餐馆过程 (Chinese Resturant Process)。

中国餐馆过程 (Chinese Resturant Process)

首先，让我们谈谈中国餐馆过程这个名字直观上能给我们带来什么信息。中式宴席往往是多人围在一张餐桌。假设现在有100个人，有四个团体预约了订餐，分别是50人，30人，10人，10人。此时，80个人在餐馆里就餐，四个团体分别到了40人，26人，8人，6人。剩余20个人还没赶到餐馆。那么在旁观者看来，每当一个新的顾客走进餐馆，在坐在每个桌子的先验概率相等的情况下，若一个桌子上坐的人越多，于是他就越可能坐在那个桌子上。这是一个很有意思，也很生动的比喻。

若概率先验 $\boldsymbol{p}=[p_1,...p_K]$ 服从Dirichlet分布（等价于p服从一个Dirichlet 过程），即