西瓜书——一元线性回归（二）

这篇博客将补充解释在一元线性回归问题中如何向量化的问题。

为何要向量化

在上篇博客中，我们求解了$w$和$b$的表达式，我们会发现，$b$的表达式尚属于简单的形式，但是$w$的表达式却含有太多的求和符号了，当我们用Python代码去实现算法的时候就需要使用多个$for$循环去遍历，这将大大提高算法的复杂度，降低算法的性能。但是Python有个numpy的库可以用来做矩阵运算，库里的算法也进行了调优，所以我们就尽可能使用向量的形式去表示$w$，两个向量相乘就是一个求和。

向量化的准备步骤

$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\tilde{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$$
恒等变形，
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\tilde{x})}{{\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m\tilde{x}{x}_i}$$
$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\tilde{x})}{{\sum }_{i=1}^m(x_i^2-\tilde{x}{x}_i)}$$
$$w=\frac{{\sum }_{i=1}^m(y_i{x}_i-\tilde{x}{y}_i)}{{\sum }_{i=1}^m(x_i^2-\tilde{x}{x}_i)}$$
此时$w$的分子分母都只有一个求和符号了，也就是说，分子分母都可以变成两个向量相乘的形式了，但是用哪两个向量来表示呢？

向量化

通过观察分子分母，我们可以对里面的一些项做出恒等变形。
$$\sum _{i=1}^m\tilde{x}{y}_i=\frac{1}{m}\sum _{i=1}^m{x}_i\sum _{i=1}^m{y}_i=\sum _{i=1}^m{x}_i\tilde{y}$$
$$\sum _{i=1}^m\tilde{x}{y}_i=\tilde{x}\cdot \frac{1}{m}\cdot m\sum _{i=1}^m{y}_i=m\cdot \tilde{x}\cdot \tilde{y}=\sum _{i=1}^m\tilde{x}\cdot \tilde{y}$$
$$\sum _{i=1}^m\tilde{x}\cdot x_i=\tilde{x}\cdot \frac{1}{m}\cdot m\sum _{i=1}^m{x}_i=\sum _{i=1}^m{\tilde{x}}^2$$

再将$w$进行“加一项减一项”,
$$w=\frac{{\sum }_{i=1}^m(y_i{x}_i-\tilde{x}{y}_i-\tilde{x}{y}_i+\tilde{x}{y}_i)}{{\sum }_{i=1}^m(x_i^2-\tilde{x}{x}_i-\tilde{x}{x}_i+\tilde{x}{x}_i)}$$
再将上面已变型的项代入$w$中进行恒等变形，
$$w=\frac{{\sum }_{i=1}^m(y_i{x}_i-\tilde{x}{y}_i-\tilde{x}{y}_i+\tilde{x}{y}_i)}{{\sum }_{i=1}^m(x_i-\tilde{x}{)}^2}$$
$$w=\frac{{\sum }_{i=1}^m(x_i-\tilde{x})(y_i-\tilde{y})}{{\sum }_{i=1}^m(x_i-\tilde{x}{)}^2}$$
令向量$$X=(x_1-\tilde{x},x_2-\tilde{x},...,x_i-\tilde{x}{)}^T$$
$$Y=(y_1-\tilde{y},y_2-\tilde{y},...,y_i-\tilde{y}{)}^T$$
所以$$w=\frac{X^{T}Y}{X^{T}X}$$
向量化结束！