Dirichlet distribution的两种理解方式

Dirichlet distribution,对于做主题模型(topic model)研究特别的重要,因为很多模型之中都需要它作为先验分布。

本来这个分布Wikipedia和大多数的教科书已经讲得非常清楚,没有必要在这里多介绍,但是最近在理解Dirichlet process过程中,发现从另外一个角度来理解Dirichlet Distribution,对于理解Dirichlet Process有一定的帮助,特此介绍如下。

传统的Dirichlet Distribution的形式:

P(x_1, x_2, ..., x_k| \alpha_1, \alpha_2, ..., \alpha_k)  \prop  \prod_1 ^k (x_i)^(\alpha_i - 1)

Dirichlet Distribution是分布的分布,其中\sum x_i = 1。

另外一种形式:

P(x_1, x_2, ..., x_k| \alpha, M)  \prop  \prod_1 ^k (x_i)^(\alpha*M_i - 1)

其中,\sum M_i = 1。从而M可以看做一个分布。可以记为:P ~ Dir(\alpha, M)

下面我们来看看Dirichlet process的定义:

对于一个空间,已经有一个分布M,和一个正实数\alpha,如果对于该空间的任意可数划分A1, A2, ..., An,都有

(G(A1), G(A2), ..., G(An))   ~   Dir(\alpha*M(A1), \alpha*M(A2), ..., \alpha*M(An))  = Dir(\alpha, M)

其中,Dir是一个dirichlet distribution, M是[M(A1), M(A2), ..., M(An)]的概率向量。我们就称G是一个Dirichlet Process。

注意观察这个定义与Dirichlet Distribution的第二种形式的异同,Dirichlet distribution描述了空间上的一种划分情况下的分布,而Dirichlet Process描述了整个空间上的所有划分的情况下的分布情况,M是人们对于分布的主观看法,而\alpha就是描述如果抽样的话,会多好地接近分布M。即M是Base Distribution,\alpha是精度。

这样,我们就可以把Dirichlet Distribution和Dirichlet process更加统一地来看待,同时加深我们对于它们的理解。



阅读更多
换一批

没有更多推荐了,返回首页