贝叶斯线性回归及最大后验估计

---

---

贝叶斯推断

贝叶斯定理：通过观察到的数据$D$，把先验概率$p(θ)$转化为后验概率$p(θ∣D)$

$p(θ∣D)=\frac{p(D∣θ)p(θ)}{∫p(D∣θ)p(θ)dθ}=\frac{p(D∣θ)p(θ)}{p(D)}$

显然，分母是一个归一化常数。故有$p(θ∣D)∝p(D∣θ)p(θ)$ 即$后验 ∝ 似然 ×先验$。

---

---

贝叶斯线性回归

问题是这样的，不能够一次性接收到整个数据集，而是不断接收到小的数据集$Di,i=1,2,...,n$，同时由于存储的限制不能存储已经接收到的所有数据集,每次可以处理的数据仅为$Di$。这就导致不能对所有数据做线性回归，但是可以通过贝叶斯线性回归达到同样的效果。

第$i$个数据集$D_{i}$中有$m$ 个训练样本，构成 $(X^{(i)},y^{(i)})$

$p(y^{(i)}∣X^{(i)},θ)=\mathcal{N}(y^{(i)};X^{(i)}θ,I)∝exp(−\frac{1}{2}(y^{(i)}−X^{(i)}θ)^{T}(y^{(i)}−X^{(i)}θ))$

为了确定模型参数向量 $θ$的后验分布
假设其先验分布

$p(θ)=\mathcal{N}(θ;μ_{0},Λ_{0})∝exp(−\frac{1}{2}(θ−μ_{0})^{T}Λ^{−1}_{0}(θ−μ_{0}))$

其中$μ0$,$Λ0$分别是先验分布的均值向量和协方差矩阵。通过贝叶斯回归得到的目标为$θ$的期望。
模型参数的后验分布：

$p(θ∣X^{(i)},y^{(i)}) \ ∝p(y^{(i)}∣X^{(i)},θ)p(θ)\\ \ \ \qquad\qquad\qquad ∝exp(−\frac{1}{2}(y^{(i)}−X^{(i)}θ)^{T}(y^{(i)}−X^{(i)}θ))exp(−\frac{1}{2}(θ−μ0)^{T}Λ^{−1}_{0}(θ−μ_{0}))\\ \ \ \qquad\qquad\qquad∝exp(−\frac{1}{2}(−2y^{(i)T}X^{(i)}θ+θ^{T}X^{(i)T}X^{(i)}θ+θ^{T}Λ^{−1}_{0}θ−2μ^{T}_{0}Λ^{−1}_{0}θ))\\ $

$\\Λ_{i}=(X^{(i)T}X^{(i)}+Λ^{−1}_{0})^{−1},μ_{i}=Λ_{i}(X^{(i)T}y^{(i)}+Λ^{−1}_{0}μ_{0})$
$p(θ∣X^{(i)},y^{(i)})∝exp(−\frac{1}{2}(θ−μ_{i})^{T}Λ^{−1}_{i}(θ−μ_{i}))$

缺点：

1 参数先验分布的不同假设形式，可能会带来计算上的不便。
2 参数先验分布的假设有偏，对于小数据会有较大的影响。

解决方法：

1 参数的先验分布假设为数据分布假设的共轭先验
共轭先验：对于一个给定的概率分布$p(x∣∣w)$,能够寻找一个先验 $p(w)$ 能够与似然函数共轭，从而后验分布的函数形式与先验分布相同。

$Bern(x∣μ)=μ^{x}(1−μ)^{1−x}\\Beta(μ∣a,b)=\frac{Γ(a+b)}{Γ(a)Γ(b)}μ^{a−1}(1−μ)^{b−1}$

$N(x∣m,Λ)=\frac{1}{2π|Λ|}exp(−\frac{1}{2}(x−m)^{T}Λ^{−1}(x−m))\\N(m∣μ,Λ^{′})=\frac{1}{2π|Λ^{′}|}exp(−\frac{1}{2}(m−μ)^{T}(Λ^{′})^{−1}(m−μ))\\W(Λ∣W,v)=B|Λ|^{\frac{v−D−1}{2}}exp(−\frac{1}{2}Tr(W^{−1}Λ))$

2 合理初始化，迭代求解
对于接收到的第1个数据集有：

$Λ_{1}=(X^{(1)T}X^{(1)}+Λ^{−1}_{0})^{−1},μ_{1}=Λ_{1}(X^{(1)T}y^{(1)}+Λ^{−1}_{0}μ_{0})$

$p(θ∣X^{(1)},y^{(1)})∝exp(−\frac{1}{2}(θ−μ_{1})^{T}Λ^{−1}_{1}(θ−μ_{1}))$

这里根据极大似然估计得到的解$θ=(X^{(1)T}X^{(1)})^{−1}X^{(1)T}y^{(1)}$，所以假设$Λ^{−1}_{0}=O$, 此时极大似然的解和贝叶斯回归的参数期望一致。

对于接收到的第$i$个数据集$D_{i} (i>1)$，将第$i−1$ 个数据集计算得到的参数后验作为先验，不断迭代。

$Λ_{i}=(X^{(i)T}X^{(i)}+Λ^{−1}_{i−1})^{−1},μ_{i}=Λ_{i}(X^{(i)T}y^{(i)}+Λ^{−1}_{i−1}μ_{i−1})$

$p(θ∣X^{(i)},y^{(i)})∝exp(−\frac{1}{2}(θ−μ_{i})^{T}Λ^{−1}_{i}(θ−μ_{i}))$

具体算法
输入：$D_{1},D_{2},D_{3},...,D_{n}$ 其中 $D_{i}=(X^{(i)},y^{(i)})$
输出：$μ_{n}$
初始化

$Λ_{1}=(X^{(1)T}X^{(1)})^{−1}\\μ_{1}=Λ_{1}(X^{(1)T}y^{(1)})\\i+=1$

while $i<=n$

$Λ_{i}=(X^{(i)T}X^{(i)}+Λ^{−1}_{i−1})^{−1}\\μ_{i}=Λ_{i}(X^{(i)T}y^{(i)}+Λ^{−1}_{i−1}μ_{i−1})\\i+=1$

代码：

def BayesLR(path):
    la=10
    mu=np.mat(np.zeros(3)).T
    gama=np.mat(np.eye(3)*la)
    for i in range(n):
        fileName = path + "%d.csv" % i
        x0,y0 = loadDataFromFile(fileName)#从文件中加载数据
        X, y = data2Mat(x0,y0)#将数据转换成np.mat的格式
        mu0 = mu
        gama0 = gama
        if i==1:
            gama = (X.T*X).I
            mu = gama*(X.T*y)

        else:
            gama = (X.T*X+gama0.I).I
            mu = gama*(X.T*y+gama0.I*mu0)

    return np.array(mu)

---

---

最大后验估计（MAP）

MLE求的是找出一组能够使似然函数最大的参数，即。 现在问题稍微复杂一点点，假如这个参数$μ$有一个先验概率呢？比如说，在上面抛硬币的例子，假如我们的经验告诉我们，硬币一般都是匀称的，也就是$μ=0.5$的可能性最大，$μ=0.2$的可能性比较小，那么参数该怎么估计呢？这就是MAP要考虑的问题。 MAP优化的是一个后验概率，即给定了观测值后使概率最大：

把上式根据贝叶斯公式展开：