机器学习：贝叶斯总结_3：线性回归和贝叶斯回归

线性回归的基函数模型

• $y(x,w)=w_0+w_1x_1+......+w_Dx_D$
  $y(x,w)=w_0+\sum_{j=1}^{M-1}w_j \phi_j(x)$
  $\phi_j(x)：是基函数$

• 基函数：多项式；高斯；sigmoid函数

• 基函数还可以是傅里叶基函数

---

最大似然与最小平方

• 误差函数=高斯噪声下的最大似然解
• 正则项是保证矩阵非奇异

顺序学习(随机梯度下降)

---

正则化最小平方

• $E_D(w)+\lambda E_W(w)$；$\lambda是正则化的系数$

$\frac{1}{2}\sum_{n=1}^N \{t_n-w^T \Phi(x_n)^2 \}+\frac{\lambda}{2}\sum_{j=1}^M|w_j|^q$

• q=1 （lasso）：套索，$\lambda足够大则系数为零，生成系数模型$

---

多变量的输出

偏置-方程折中

• 最大似然估计容易导致过拟合

---

贝叶斯线性回归

• 贝叶斯线性回归可以预防过拟合

---

贝叶斯模型的比较

• 假设多项式曲线的拟合问题，概率分布由模型中的一个产生，但不知道是哪个，不确定性通过先验概率表达$p(M_i)$.给定训练集D，

$p(M_i|D)->p(M_i)p(D|M_i)$

• 先验概率表示不同模型的优先级
• $p(D|M_i) 是不同模型的优先级$
• 贝叶斯因子=$\frac{p(D|M_i)}{p(D|M_j)}$

预测分布：$p(t|x,D)=\sum_{i=1}^L p(t| x,M_i,D)p(M_i|D)$
1. 混合分布
2. 各个模型的预测加权

模型近似

待续