多元线性回归中的公式推导

这次接着一元线性回归继续介绍多元线性回归，同样还是参靠周志华老师的《机器学习》，把其中我一开始学习时花了较大精力弄通的推导环节详细叙述一下。

本文用到的部分关于向量求导的知识可以参看博文标量、向量、矩阵求导

数据集$D=\{(\boldsymbol x_1, y_1), (\boldsymbol x_2, y_2) \cdots (\boldsymbol x_m, y_m)\}$，其中 $\boldsymbol x_i=[x_i^{(1)}, x_i^{(2)} \cdots x_i^{(d)}]^T$ 表示一条样本数据有 $d$ 个属性，我们的目标是寻找 $d$ 维列向量 $\boldsymbol w$ 和常数 $b$，使得模型

$$f(\boldsymbol x_i)=\boldsymbol w^T\boldsymbol x_i+b\tag 1$$ 所得的预测值与真实值 $y_i$ 尽可能接近。

我们可以采用一些小策略把式(2)统一用矩阵和向量表示，把常数 $b$ 放入权值向量 $\boldsymbol w$ 得到一个 $(d+1)$ 维的权值向量