Exponential families
·EF包括很多常用分布,比如:
Bernoulli, Gaussian, Multinomial, Dirichlet, Gamma, Poisson, Beta。
使用EF描述数据,可以让我们更容易找到共轭先验。
·其通用形式如下:
·各项含义如下:
注意,t(x)、h(x)可以不是关于x的函数。
下面以高斯分布作为例子,讲解其EF通用形式和对应的共轭先验
·高斯分布转换成EF通用形式:
·可以转换成另一种形式
这种形式更适用于发现共轭先验(与图中式(34)有相同形式的参数的先验分布),因为把只含参数的部分单独放在一块了。
·由上图的式(34)可知共轭先验应当满足以下形式
由此可知,共轭先验也是高斯分布。
·根据“后验=先验*似然函数”可得后验分布的natural parameter为:
其中
·由此可得后验概率的期望和方差
·代入对期望、方差的先验假设后,可得: