多项分布的指数分布族形式的一个小坑

在徐老师课件里((part-4)Variational-Inference-for-LDA_哔哩哔哩_bilibili)的对ELBO关于自然参数进行求导时,遇到了多项分布的指数家族分布形式的log-partition function 为0的问题,使得课件的公式不再成立。

经查阅,维基的Exponential family词条(国内镜像地址https://handwiki.org/wiki/Exponential%20family)给了一个表格,里面有多项分布的三种指数分布族的表示形式。其中第三种形式才是标准形式,可解决上述问题。另外两种形式是“curved exponential families”,这些非标准形式不完全具有标准形式下的特性,词条表格下方的段落对此有简要说明。


对于第三种形式,伯克利的课件(https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter8.pdf)在公式8.28~8.33中给了推导过程,只需注意下这个推导过程默认∑X=1,维基中∑X=n。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值