线性回归（理论部分）

python代码实现：https://blog.csdn.net/jk_chen_acmer/article/details/102990950

线性回归

预测的答案值可以用各个特征值的线性表达式表示。

假设单个变量$x$，实际答案为$y$，线性预测值为$h_{\theta }(x)$，$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$。
数据集的数据个数为$m$，称$x^{(i)}$为第$i$个数据的$x$值，$y^{(i)}$同理。

对于一组${\theta }_0,{\theta }_1$，我们可以得到其代价函数为$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$，也就是类似方差的东西，反应了预测值与实际答案的差距。

$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m({\theta }_0+{\theta }_1{x}^{(i)}-y^{(i)}{)}^2$，显然当${\theta }_0$固定时，${\theta }_1$与$J({\theta }_0,{\theta }_1)$的关系如图：

当${\theta }_0$不固定时，${\theta }_0,{\theta }_1$与$J({\theta }_0,{\theta }_1)$的关系如图（碗装图）：

误差当然是越小越好，所以我们就是想办法在上述图像中找到一个最低点。

一般采用梯度下降法来得到最低点。

梯度下降算法

$\alpha$表示学习速率
$\frac{\vartheta }{\vartheta {\theta }_j}J({\theta }_0,{\theta }_1)$表示当前点的导数，也就是与图像相切的线的斜率。

对于一个n个特征值的问题，我们的代价函数和导数为：

$$\begin{gathered} J({\theta }_0,{\theta }_1...{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}_1^{(i)}+...+{\theta }_n{x}_n^{(i)}-y^{(i)}{)}^2 \\ \frac{\vartheta }{\vartheta {\theta }_j}J({\theta }_0,{\theta }_1...{\theta }_n)=\frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}_1^{(i)}+...+{\theta }_n{x}_n^{(i)}-y^{(i)})\ast x_j^{(i)} \end{gathered}$$

梯度下降算法……α

每次另${\theta }_j={\theta }_j-\alpha \frac{\vartheta }{\vartheta {\theta }_j}J({\theta }_0,{\theta }_1)$，相当于往最低点走一步，这一步的长度与$\alpha$直接相关。

梯度下降算法……特征缩放

当多个特征值的范围差异较大时，例如$x_1\in [0,1],x_2\in [0,1000]$（在3D图像中的表现为扁平图像），每一步的斜率可能非常小，却又离最低点很远，需要非常大的迭代次数。这个时候我们可以对特征值进行缩放。

一般另$$x=\frac{x-average}{range}$$
例如$x\in [0,1000]$，那么$600:=(600-500)/1000=0.1$，显然最后的范围为$[-0.5,0.5]$

梯度下降算法……构造新的特征

我们可以用已有的特征值通过方程式，构造出新的式子。例如我现在有$x_1,x_2$，可能最优预测函数$h_{\theta }({\theta }_0,{\theta }_1)={\theta }_0+{\theta }_1{x}_1{x}_2$，此时我们原来按照${\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$构造就不太行了，但是如果我们令$x^{\prime }=x_1{x}_2$，$h_{\theta }({\theta }_0,{\theta }_1)={\theta }_0+{\theta }_1{x}^{\prime }$，就解决问题了。

以此方法，我们可以用线性回归处理非线性问题。

例如，最优预测函数为$h_{\theta }({\theta }_0,{\theta }_1,{\theta }_2,{\theta }_3)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3$，我们另$x_1=x,x_2=x^2,x_3=x^3$，则可以将预测函数写成$h_{\theta }({\theta }_0,{\theta }_1,{\theta }_2,{\theta }_3)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3$。

注意，此时的$x_i$的范围显然差距很大，那么特征缩放就更加重要了。

梯度下降算法……向量化计算

一般的编程语言带有或易获取线性代数库，实现速度快，所以一些计算我们可以使用矩阵运算来代替。

$$\begin{gathered} h_{\theta }({\theta }_0,{\theta }_1,{\theta }_2,{\theta }_3)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3 \\ \Rightarrow [{\theta }_0,{\theta }_1,{\theta }_2,{\theta }_3]\ast [1,x_1,x_2,x_3{]}^T \end{gathered}$$

$$\begin{gathered} {\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}_1^{(i)}+...+{\theta }_n{x}_n^{(i)}-y^{(i)})\ast x_0^{(i)} \\ {\theta }_1:={\theta }_1-\alpha \frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}_1^{(i)}+...+{\theta }_n{x}_n^{(i)}-y^{(i)})\ast x_1^{(i)} \\ {\theta }_n:={\theta }_n-\alpha \frac{1}{m}\sum _{i=1}^m({\theta }_0+{\theta }_1{x}_1^{(i)}+...+{\theta }_n{x}_n^{(i)}-y^{(i)})\ast x_n^{(i)} \\ \Rightarrow \left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ...\\ {\theta }_n\end{array}\right]-\alpha \frac{1}{m}({\theta }_0+{\theta }_1{x}_1^{(1)}+...+{\theta }_n{x}_n^{(1)}-y^{(1)})\left[\begin{array}{c}{x}_0^{(1)}\\ x_1^{(1)}\\ ...\\ x_n^{(1)}\end{array}\right]...-\alpha \frac{1}{m}({\theta }_0+{\theta }_1{x}_1^{(m)}+...+{\theta }_n{x}_n^{(m)}-y^{(m)})\left[\begin{array}{c}{x}_0^{(m)}\\ x_1^{(m)}\\ ...\\ x_n^{(m)}\end{array}\right] \end{gathered}$$

正规方程

将第$i$个数据的特征值写成行向量的形式（额外加上一个$x_0$）：$x^{(i)}=(x_0=1,x_1...x_n)$
令矩阵$X$的第$i$行为第$i$组数据的行向量：$$\left[\begin{array}{c}{x}_0^{(1)},x_1^{(1)}...x_n^{(1)}\\ x_0^{(2)},x_1^{(2)}...x_n^{(2)}\\ ..\\ x_0^{(m)},x_1^{(m)}...x_n^{(m)}\end{array}\right]$$
令$m\ast 1$的矩阵$Y$的第$i$行第一个元素为第$i$组数据的答案：$$\left[\begin{array}{c}{y}^{(1)}\\ y^{(1)}\\ ...\\ y^{(m)}\end{array}\right]$$

最后的答案${\theta }_i$组成的$(n+1)\ast 1$矩形为$(X^T\ast X{)}^{-1}\ast X^T\ast Y$

很神奇，一步解决问题，最大的时间瓶颈为计算一个$(n+1)(n+1)$矩阵的逆矩阵，复杂度为$O(n^3)$。也就是说，当特征数量较大时，时间复杂度为很大。但是相较于梯度下降算法，正规方程不需要自己定$\alpha$，不需要迭代，不需要特征缩放，较为方便。

正规方程……(X^T)X不可逆

一般不会出现，即使出现了，使用求伪逆的函数做也是没有问题的（$pinvinOctave$）

讲一下导致这种情况的可能原因：

• 两个特征值线性相关，即$x_i=k{x}_j$
• $m<n$，即特征数量多于数据个数

---

学习视频：吴恩达机器学习