Dirichlet Process

Introduction

考虑如下一个随机过程
给定分布 G 0 G_0 G0,一个正实数 α \alpha α

  1. 从分布 G 0 G_0 G0中采样 X 1 X_1 X1
  2. n > 1 n>1 n>1时:
    以概率 α n − 1 + α \frac{\alpha}{n-1+\alpha} n1+αα G 0 G_0 G0中采样 X n X_n Xn
    以概率 1 n − 1 + α \frac{1}{n-1+\alpha} n1+α1, X n = X i X_n = X_i Xn=Xi

这个随机过程的样本轨道的联合分布根据链式法则,可以写成:
P ( X 1 , X 2 , . . . , X n ) = P ( X 1 ) P ( X 2 ∣ X 1 ) ∗ . . . ∗ P ( X n ∣ X 1 , X 2 , . . . , X n − 1 ) P(X_1,X_2,... ,X_n)=P(X_1)P(X_2|X_1)*...*P(X_n|X_1,X_2,...,X_{n-1}) P(X1,X2,...,Xn)=P(X1)P(X2X1)...P(XnX1,X2,...,Xn1)
样本轨道的第n个位置的条件概率为:
P ( X n ∣ X 1 , . . , X n − 1 ) = α n − 1 + α G 0 ( X n ) ∏ i = 1 n − 1 δ X n ≠ X i + 1 n − 1 + α ∑ i = 1 n − 1 δ X n = X i P(X_n|X_1,..,X_{n-1})=\frac{\alpha}{n-1+\alpha}G_0(X_n)\prod_{i=1}^{n-1}{\delta_{X_n\neq X_i}}+\frac{1}{n-1+\alpha}\sum_{i=1}^{n-1}\delta_{X_n=X_i} P(XnX1,..,Xn1)=n1+ααG0(Xn)i=1n1δXn̸=Xi+n1+α1i=1n1δXn=Xi

可以计算出联合分布为
P ( X 1 , X 2 , . . . , X n ) = α K ∏ k = 1 K n u m ( x k − 1 ) ! α ( 1 + α ) . . . ( n − 1 + α ) ∏ i = 1 K G 0 ( x k ) P(X_1,X_2,...,X_n) = \frac{\alpha^K\prod_{k=1}^{K}num(x_k-1)!}{\alpha(1+\alpha)...(n-1+\alpha)}\prod_{i=1}^{K}G_0(x_k) P(X1,X2,...,Xn)=α(1+α)...(n1+α)αKk=1Knum(xk1)!i=1K

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值