13.1 试推导出式(13.5)~(13.8)
式13.5
首先,高斯混合模型的公式如下:
pM(x)∑i=1kαi=∑i=1kαi⋅p(x∣μi,Σi),=1(1)(2)
则根据贝叶斯定理,未标记样本 xj 属于各高斯混合成分 Θi 的概率为:
γji=p(Θ=i∣xj)=p(Θ=i)⋅p(xj∣Θ=i)pM(xj)=αi⋅p(xj∣μi,Σi)∑i=1kαi⋅p(xj∣μi,Σi),(3)
则式
(13.5)
得证。
式13.6~13.7
根据书上公式 (13.4) :
LL(Dl∪Du)=∑(xj,yj)∈Dlln(∑i=1kαi⋅p(xj∣μi,Σi)⋅p(yj∣Θ=i,xj))+∑xj∈Duln(∑i=1kαi⋅p(xj∣μi,Σi))(4)
由于假定每一个类别对应一个高斯混合成分,则 p(yj∣Θ=i,xj)=1 当且仅当 yj=i ,否则 p(yj∣Θ=i,xj)=0 ,则上式 (4) 可以化简为:
LL(Dl∪Du)=∑(xj,yj)∈Dl∧yj=ilnαi⋅