DataWhale吃瓜3章学习（1）

第三章：线性模型（1）

3.1 线性模型的基本形式

线性模型试图通过属性的线性组合来进行预测。数学公式为：

$$f(x)=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b$$

其中，$x=(x_1,x_2,\dots ,x_d)$ 是输入特征向量，$w=(w_1,w_2,\dots ,w_d)$ 是权重向量，$b$ 是偏置项。模型一旦确定，对于任何输入 $x$，我们可以通过计算 $f(x)$ 来得到预测值。

3.2 线性回归

3.2.1 线性回归的数学描述

给定数据集 $D=\{(x_i,y_i)\}$，其中 $x_i$ 是输入特征向量，$y_i$ 是对应的输出标记。线性回归的目标是找到最优的参数 $w$ 和 $b$，使得预测值 $f(x_i)$ 尽可能接近真实标记 $y_i$。通常使用均方误差（MSE）作为损失函数，即：

$$\text{MSE}=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$

其中，$m$ 是样本数量。

我们尝试将MSE最小化：
$$\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$

3.2.2 最小二乘法

最小二乘法是通过最小化损失函数来求解 $w$ 和 $b$ 的方法。对于线性回归问题，我们可以通过求导数并令其为零来找到最小化均方误差的 $w$ 和 $b$。我们对 $w$ 和 $b$ 分别求偏导数，并令它们等于零：

$$\begin{array}{l}\frac{\partial E_{(w,b)}}{\partial w}=2\left(w{\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m\left(y_i-b\right)x_i\right)\\ \frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-{\sum }_{i=1}^m\left(y_i-w{x}_i\right)\right)\end{array}$$

这将给出 $w$ 和 $b$ 的最优解。在实际操作中，我们通常会将这些方程写成矩阵形式，以便利用矩阵运算进行快速求解。当设计矩阵 $X$ 满秩或者正定的时候，最优解可以表示为：

$$w^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y,b^{\ast }=\overline{y}-w^{\ast T}\overline{x}$$

其中，$\overline{x}$ 是所有输入特征的均值向量，$\overline{y}$ 是所有输出标记的均值。

3.2.3 多变量线性回归

当我们有多个输入特征时，线性回归模型可以表示为：

$$f(x)=w^{T}x+b$$

此时，我们需要对权重向量 $w$ 和偏置项 $b$ 进行估计。这可以通过最小二乘法来完成，即通过最小化均方误差来求解 $w$ 和 $b$。在多变量情况下，最优解的表达式与单变量情况类似：

$$w^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y,b^{\ast }=\overline{y}-w^{\ast T}\overline{x}$$