线性回归LinearRegreesion

线性回归

前言

​ Linear Regression (LR)会一直成为每一个初学者在机器学习之间绕不过去的一个坎。所以，我想尽量把这篇写得更加地贴近新手，（像我这样的新手）。

​ 进入正题，LR旨在让一个线性函数尽可能预测$y$，假设线性函数如下:
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n$$
​ 这里的${\theta }_i(i=0,...,n)$是回归系数，既然这样，我们也可以把这个线性函数改写一下，改写乘向量成向量的形式。
$$h_{\theta }(x)=\sum _{j=0}^n{\theta }_j{x}_j={\theta }^{T}x$$
​ where KaTeX parse error: Unknown column alignment: * at position 32: …{\begin{array}{*̲{20}{c}} {{\the… KaTeX parse error: Unknown column alignment: * at position 27: …{\begin{array}{*̲{20}{c}} {{x_0}…

​ 所以，问题又转化为怎么求解这个向量$\theta $了。因此，我们需要再引进下面的损失函数。

损失函数

​ Q：为啥要损失函数？

​ A：因为我们需要找一种东西来度量，度量什么呢？度量我们所求出的$\theta$是不是“well-performance”的$\theta$。

​ Q：损失函数长啥样？

​ A：就下面这样：
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2$$
​ 在这里，$x^i$和$y^i$是第$i$个样本的因变量和自变量。理解的时候要这样理解，即$x^i$ 是用户行为，而$y^i$ 可以认为是用户最终的选择（或者属性）。比如你采集到用户对一系列的电影的评分（$x^i$ ），然后你需要这些进行训练。怎么训练呢？就是通过$y^i$ 和$x^i$ 进行计算，求出了$\theta$了。以下介绍两种方向，计算出$\theta$。

梯度下降法

​ 梯度是什么？其实就是导数。

​ 这里不再重复造轮子了。

​ Reference：https://www.jianshu.com/p/c7e642877b0e

最小二乘法

​ 基本思路：对损失函数求偏导，令其为零，得到闭式解。请注意，闭式解很关键，因为这决定了我们求到的这个解能不能直接拿来用，如果是开式解就需要设计迭代算法进行求解。

​ 而这个基本思路，即求偏导，令其为零，得到解，是机器学习的基本思路，以后的很多方法都会基于此。因为我不太喜欢向量的形式，所以直接写成了这个矩阵的形式。
$$\arg \underset{\theta }{\min }\Vert Y-\theta X{\Vert }_F^2$$

​ 在最小二乘法中，我想利用矩阵的迹进行推导。改写上面的式子，利用迹的形式，可以得到：
$$\arg \underset{\theta }{\min }\Vert Y-\theta X{\Vert }_F^2=\arg \underset{\theta }{\min }tr((Y-\theta X{)}^T(Y-\theta X))$$
将他们拆开，可以得到
$$\arg \underset{\theta }{\min }tr(Y{Y}^T-2Y^T\theta X+X{\theta }^T\theta X))$$
因为$Y{Y}^T$ 是常数，因此我们优化的对象变成了以下的式子：$$\arg \underset{\theta }{\min }tr(-2Y^T\theta X+X^T{\theta }^T\theta X))$$
因此，对其进行求导，可以得到：
$$0=-2Y^{T}X+2\theta X$$
$$Y^{T}X{X}^{-1}=\theta$$

过拟合

​ 我们需要运用正则项来克服过拟合。所以，但是，这个留给下一篇吧~希望下一篇能真正让我介绍一下几种范数的正则化。

代码实现

https://download.csdn.net/download/weixin_43444175/12507151
代码注释很翔实