机器学习笔记之线性回归——从概率密度函数角度认识最小二乘法

引言

上一节介绍了线性回归，并介绍了对 表达自变量$x$与因变量$y$之间关系的拟合方程$f(\mathcal{W})$中参数$\mathcal{W}$ 求解的一种工具——最小二乘法。本节将从 概率密度函数角度 观察最小二乘法。

回顾：符号定义与最小二乘法

已知数据集合$Data$包含$N$个由自变量$x$与因变量$y$组成的样本，并且 各样本之间独立同分布：
$$Data=\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(N)},y^{(N)})\}$$
其中，任意一个自变量$x^{(i)}(1=1,2,\cdots ,N)$是一个$p$维随机变量。记作$x^{(i)}\in {\mathbb{R}}^p$：
$$x^{(i)}=\left(\begin{array}{c}{x}_1^{(i)}\\ x_2^{(i)}\\ ⋮\\ x_p^{(i)}\end{array}\right)$$

因此，关于自变量$x$的集合$\mathcal{X}$可以表示为$N\times p$的矩阵：
$$\mathcal{X}=(x^{(1)},x^{(2)},\cdots ,x^{(N)}{)}^T=\left(\begin{array}{c}{x^{(1)}}^T\\ {x^{(2)}}^T\\ ⋮\\ {x^{(N)}}^T\end{array}\right)=(\begin{array}{c}{x}_1^{(1)},x_2^{(1)},\cdots ,x_p^{(1)}\\ x_1^{(2)},x_2^{(2)},\cdots ,x_p^{(2)}\\ ⋮\\ x_1^{(}\end{array}$$