在徐老师课件里((part-4)Variational-Inference-for-LDA_哔哩哔哩_bilibili)的对ELBO关于自然参数进行求导时,遇到了多项分布的指数家族分布形式的log-partition function 为0的问题,使得课件的公式不再成立。
经查阅,维基的Exponential family词条(国内镜像地址https://handwiki.org/wiki/Exponential%20family)给了一个表格,里面有多项分布的三种指数分布族的表示形式。其中第三种形式才是标准形式,可解决上述问题。另外两种形式是“curved exponential families”,这些非标准形式不完全具有标准形式下的特性,词条表格下方的段落对此有简要说明。
对于第三种形式,伯克利的课件(https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter8.pdf)在公式8.28~8.33中给了推导过程,只需注意下这个推导过程默认∑X=1,维基中∑X=n。