线性回归

1.1 数据集

使用 $X_{n\times d}$ 表示数据集，$n$ 表示数据集的样例数，$d$ 表示每个样例所对应的特征维度，其中第 $i$ 个样本用$x_i=(x_1,x_2,\dots ,x_d)$ 表示。

1.2 模型与损失函数

1.2.1 代数表示

模型

使用代数方法的线性回归模型表示为：

$$\hat{Y}=w_1\ast x_1+w_2\ast x_2+\cdots +w_d\ast x_d+b=\sum _{i=1}^{i=d}{w}_i\ast x_i+b\text{\hspace{1em}(1)}$$

其中，$b$ 为偏置项。

1.2.2 向量表示

模型

使用向量法表示线性回归模型：

$$\hat{Y}=\mathbf{X}\mathbf{w}+b\text{\hspace{1em}(2)}$$

其中，$\mathbf{X}$ 是 $n\times d$ 维的，$\mathbf{w}$ 是 $d\times 1$ 维的， $b$ 为标量。