稀疏贝叶斯学习详解--证据和后验概率的计算

 简介

稀疏贝叶斯学习(Sparse Bayesian Learning,SBL)是稀疏信号重构的方法之一，其性能相当于重加权的$\ell_1$范数恢复方法，并且不需要设置正则化参数，在目标定位，生物医学信号提取等方面被广泛应用。但是其涉及复杂的数学知识包括高斯函数、最大似然估计、向量求导、贝叶斯估计、EM算法等让很多人望而却步。笔者在学习此部分内容也曾花费大量时间，为解决小伙伴们的烦恼，本系列文章将详细解读稀疏贝叶斯学习的基本原理及其对应的数学推导，大致分为几块，包括证据和后验概率的计算、EM算法部分推导等。下面先对证据和后验概率的计算推导进行叙述。以下需要用到的数学基础包括高斯函数的基本性质、向量的求导。

 模型

先考虑对一个向量的观测，假设有观测矩阵 $\bm{\Phi}\in C^{N\times M}$，对未知变量$\bm{\omega}\in C^{M\times1}$进行观测，记为

\[\bm{t}=\bm{\Phi}\bm{\omega}+\bm{\epsilon}\qquad(1)\]

式中$t\in C^{N\times1}$，观测矩阵也称之为过完备基，这里假定$\bm{\omega}$是稀疏变量，即$\bm{\omega}$的大部分元素都为0，$\epsilon$ 为观测噪声。SBL要解决的问题是根据已知的$\bm{t}$和${\bm{\Phi}}$估计出$\bm{\omega}$,其实就是稀疏信号的重构。

 

首先解释下贝叶斯公式：

\[p(\omega|t)=\frac{p(t|\omega)p(\omega)}{p(t)}\qquad\]

$p(\omega)$称之为先验概率，表示在观测之前的概率，$p(\omega|t)$称之为后验概率，是观测之后的概率，$p(t|\omega)$是似然概率，在求最大似然估计的时候就是使用的该概率形式，$p(t)$表示证据。很多情况下，我们要估计$\bm{\omega}$可由$argmax_\omega p(\omega|x)$求得，但上述后验概率不易求得。因证据$p(x)$与$\bm{\omega}$无关，上述后验概率最大化可由贝叶斯公式转化为似然概率和先验概率的乘积的最大化求得，即$argmax_\omega p(x|\omega)p(\omega)$。