Dirichlet Process
有一句俗话说得好:教学相长。虽然笔者还处于学习的阶段,但把所学的知识加以整理,分享给大家,希望能和大家一起学习进步。本文所用语言并不够正规和严谨,但相对更容易理解。
本文是对徐亦达老师关于Dirichlet Process的视频1的个人总结。
预备
Dirichlet distribution
Multinomial Distribution
其中, ∑ixi=n,x∈ZK,μ∈RK,Γ(⋅) 是Gamma函数。
上述分布的很多均值、方差等关系式此处没有罗列,不过可以在很多地方找到2。
关于多项式分布与狄利克雷分布的关系,可以用以下比喻来刻画:假如有K个盒子,n个球,那么上式中, xi 就是落入第 i 个盒子的球的数量,而
容易验证,dirichlet distribution是multinational distribution的共轭先验,即
Dir(μ|α)⋅Multi(x|μ,K)∼Dir(μ1,...μK|α1+x1,...αK+xK).
从这样的关系可以发现什么?当有一定的小球落入一些盒子以后,将会影响以后新的小球落入各个盒子的概率。这从直觉上给出了一个很直观的感受,若有很多小球落入一个盒子,那么以后的小球也更可能落入这个盒子,反之亦然,类似于马太效应。从这里出发,我们可以引出中国餐馆过程 (Chinese Resturant Process)。
中国餐馆过程 (Chinese Resturant Process)
首先,让我们谈谈中国餐馆过程这个名字直观上能给我们带来什么信息。中式宴席往往是多人围在一张餐桌。假设现在有100个人,有四个团体预约了订餐,分别是50人,30人,10人,10人。此时,80个人在餐馆里就餐,四个团体分别到了40人,26人,8人,6人。剩余20个人还没赶到餐馆。那么在旁观者看来,每当一个新的顾客走进餐馆,在坐在每个桌子的先验概率相等的情况下,若一个桌子上坐的人越多,于是他就越可能坐在那个桌子上。这是一个很有意思,也很生动的比喻。
若概率先验 p=[p1,...pK] 服从Dirichlet分布(等价于p服从一个Dirichlet 过程),即
这里的 H 服从于一个均匀分布。Dirichlet过程具体内容将在稍后介绍。
Predictive distribution
设