20211220_西瓜书_第三章

三、线性模型笔记

来源: <机器学习>
作者:周志华

3.1 线性回归

线性回归(linear model)是在假设特征满足线性关系，根据给定的训练数据训练一个模型，并用此模型进行预测:

函数形式:

$\hat{y}=f(x)=w_1{x}_1+w_2{x}_2+\dots +w_i{x}_i+b(1)$

向量表达式形式:

$\hat{y}=f(w)=w^{T}x+b(2)$

注意:

• 非线性模型可在其基础上引入层次结构和高维映射获得
• $w$表达了各属性($x_1,x_2,x_3...x_i$)的 “权重” >>> 线性模型具有较好解释性

---

3.1.1 几个概念复习

(1) 欧式距离

欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：

$$\mathrm{dist}(X,Y)=\sqrt{\sum _{i=1}^n{\left(x_i-y_i\right)}^2}$$

欧氏距离和余弦相似度的区别: 余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上

(2) 均方误差, 范数

均方误差 MSE即预测点与实际点之间距离之差平方和的均值，又被称为 L2范数损失:

$$\text{MSE}(y,\hat{y})=\frac{1}{n_{\text{samples}}}\sum _{i=0}^{n_{\text{samples}}-1}(y_i-{\hat{y}}_i{)}^2.$$

均方误差对应欧式距离 >>> 有较好几何意义

• 范数复习: https://zhuanlan.zhihu.com/p/85305655
  如$w^T{x}_i-y_i$的 2-范 (欧式范数,计算向量长度) : $\Vert w^T{x}_i-y_i{\Vert }_2=\sqrt{{\sum }_{i=1}^n(w^T{x}_i-y_i{)}^2}$

(3) 最小二乘估计

• 基于均方误差最小化来进行模型求解的方法 ---------- 最小二乘法
  在线性回归中, 即找到一条直线, 使所有样本到直线上欧式距离最小

---

3.1.2 最小二乘求$f(x_i)$ ,$w$, $b$

1.最简单一元线性情况

对于以上线性模型即, 确定$w$和$b$, 使得$f(x)$与$y$间均方误差最小:
$$\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(f\left(x_i\right)-y_i\right)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2.\end{array}$$

即求$E_{(w,b)}={\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$最小化过程, $E_{(w,b)}$为关于w和b的凸函数, 即偏导为0过程:

$$\frac{\partial E_{(w,b)}}{\partial w}=2\left(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m\left(y_i-b\right)x_i\right)=0$$
$$\frac{\partial E_{(w,b)}}{\partial b}=2\left(mb-\sum _{i=1}^m\left(y_i-w{x}_i\right)\right)=0$$

→→→→→→→→→→→→→→→→→→→→→公式详解来源: 南瓜书

---

先求 b, 易得:
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$
因为$\frac{1}{m}{\sum }_{i=1}^m{y}_i=\bar{y},\frac{1}{m}{\sum }_{i=1}^m{x}_i=\bar{x}，则b=\bar{y}-w\bar{x}$带入$w$偏导求$w$:

$$w\sum _{i=1}^m{x}_i^2=\sum _{i=1}^m{y}_i{x}_i-\bar{y}\sum _{i=1}^m{x}_i+w\bar{x}\sum _{i=1}^m{x}_i$$
化简得:

$$w=\frac{{\sum }_{i=1}^m{y}_i{x}_i-\bar{y}{\sum }_{i=1}^m{x}_i}{{\sum }_{i=1}^m{x}_i^2-\bar{x}{\sum }_{i=1}^m{x}_i}$$

由$\frac{1}{m}{\sum }_{i=1}^m{y}_i=\bar{y},\frac{1}{m}{\sum }_{i=1}^m{x}_i=\bar{x}$化简得:
$$w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\bar{x}\right)}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}{\left({\sum }_{i=1}^m{x}_i\right)}^2}$$

---

将上式向量化以便在numpy实现, 将上式向量化:
$w$分子中: ${\sum }_{i=1}^m\bar{x}{y}_i=\bar{x}\cdot m\cdot \frac{1}{m}\cdot {\sum }_{i=1}^m{y}_i=m\bar{x}\bar{y}={\sum }_{i=1}^m\bar{x}\bar{y}$
$w$分母中: ${\sum }_{i=1}^m\bar{x}{x}_i=\bar{x}\cdot m\cdot \frac{1}{m}\cdot {\sum }_{i=1}^m{x}_i=m{\bar{x}}^2={\sum }_{i=1}^m{\bar{x}}^2$

于是有:
$$\begin{array}{rl}w& =\frac{{\sum }_{i=1}^m\left(y_i{x}_i-y_i\bar{x}-x_i\bar{y}+\bar{x}\bar{y}\right)}{{\sum }_{i=1}^m\left(x_i^2-x_i\bar{x}-x_i\bar{x}+{\bar{x}}^2\right)}\\ & =\frac{{\sum }_{i=1}^m\left(x_i-\bar{x}\right)\left(y_i-\bar{y}\right)}{{\sum }_{i=1}^m{\left(x_i-\bar{x}\right)}^2}\end{array}$$
若令$\mathbf{x}=(x_1,x_2,...,x_m{)}^T$，