没有废话,需要基础。暂时不做解答!!!
zi服从GIG分布,如下。当ai=0,其退化成特殊的IG分布
通常我们在稀疏系数的先验选择为高斯先验。而在高斯先验中我们会让未知系数服从均值为0方差未知的高斯分布。也叫做student‘t分布。好像是这么叫的。
1、方差做先验。
这里由于方差做先验,假设未知系数是h吧,方差是r吧
此时有h~N(0,r),或者h~CN(0,r)
一般在SBL框架里我们让r服从一个gamma分布。gamma分布的形状参数a和尺度参数b
根据经验epsilon通常被设置为1而eta通常设置为1e-4或者为0.这里我们只讲解到2L先验,至于3L就是多加一层gamma分布来改变超参数b
因为这是方差,设计到一个贝塞尔近似的结果。3L基本没有作用。
假如r~Gamma(epsilon,eta)
b(r)正比于GIG分布,而GIG分布的均值计算方法同下
这里的前提就是x趋于0
如果我们在设置的时候让尺度参数b=0,此刻b(r)正比于IG分布(逆gamma分布)
而这个逆gamma分布居然能得到和GIG分布求解r均值近似的结果一样,这令我很惊讶。我就搞2L,还设置b=0,我直接用IG岂不美哉。
以下列出一个我写的例子
2.精度做先验
精度精度到底是什么,说白了就是方差倒数!h~N(0,r^-1) or h~CN(0,r^-1)精度做先验得到的结果依然会是gamma分布,因为gamma分布的均值十分好求,所以精度要计算的更明了。且变到3L也是可以照样适用的。
参考文献:
Babacan, S. Derin, Shinichi Nakajima, and Minh N. Do. "Bayesian group-sparse modeling and variational inference." IEEE transactions on signal processing 62.11 (2014): 2906-2921.