机器学习笔记之贝叶斯线性回归(一)线性回归背景介绍

引言

本节开始，介绍贝叶斯线性回归(Bayesian Linear Regression)。

回顾：线性回归

场景构建

给定数据集合$\mathcal{D}ata={\left\{\left(x^{(i)},y^{(i)}\right)\right\}}_{i=1}^N$，其中样本$x^{(i)}(1=1,2,\cdots ,N)$是$p$维随机变量，对应的标签信息$y^{(i)}$是一维随机变量：
$$\begin{array}{rl}{x}^{(i)}& \in {\mathbb{R}}^p,y^{(i)}\in \mathbb{R}i=1,2,\cdots ,N\\ \mathcal{X}& ={\left(x^{(1)},x^{(2)},\cdots ,x^{(N)}\right)}^T={\left(\begin{array}{c}{x}_1^{(1)},x_2^{(1)},\cdots ,x_p^{(1)}\\ x_1^{(2)},x_2^{(2)},\cdots ,x_p^{(2)}\\ ⋮\\ x_1^{(N)},x_2^{(N)},\cdots ,x_p^{(N)}\end{array}\right)}_{N\times p}\mathcal{Y}=\left(\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y_{N\times 1}^{(N)}\end{array}\right)\end{array}$$

从概率密度函数认识最小二乘法

给定数据集合$Data$以及相应拟合直线表示如下：

其中直线的表达式为：
这里‘偏置信息’$b$忽略掉,$x_i(i=1,2,\cdots ,p)$表示样本的第$i$维特征信息。
$$f(\mathcal{X})={\mathcal{W}}^T\mathcal{X}={\mathcal{X}}^T\mathcal{W}=\sum _{i=1}^p{w}_i\cdot x_i$$
从概率密度函数角度观察，标签分布可看作是$f(x)$的基础加上均值为0的高斯分布噪声：
$\mathcal{X}$是包含$p$维特征的随机变量集合;$\mathcal{Y}$是一个一维随机变量;$ϵ$表示一维高斯分布(它和$\mathcal{Y}$的维数相同)。
$$\mathcal{Y}=f(\mathcal{X})+ϵ\mathcal{X}\in {\mathbb{R}}^p,\mathcal{Y}\in \mathbb{R},ϵ\sim \mathcal{N}(0,{\sigma }^2)$$

回顾：最小二乘估计

关于线性回归问题求解模型参数$\mathcal{W}$时，使用的是最小二乘估计(Least Square Estimation,LSE)：
$$\mathcal{L}(\mathcal{W})=\sum _{i=1}^N||{\mathcal{W}}^T{x}^{(i)}-y^{(i)}|{|}^2$$
并且通过最小二乘估计，求解模型参数$\mathcal{W}$的矩阵形式表达：
矩阵表达的弊端：

• ${\mathcal{X}}^T\mathcal{X}$是一个$p\times p$的对称矩阵，它至少是半正定矩阵，但不一定是正定矩阵。从而导致$({\mathcal{X}}^T\mathcal{X}{)}^{-1}$可能是不可求的。
• 由于 X \mathcal X