初学机器学习之线性回归

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 ——来自百度百科
刚开始接触的线性回归的时候我们先从单变量线性回归学起。他的数学模型如下图：如果是单变量线性回归，我们只需令w2、w3、w4…wn均为0即可。

对于单变量线性回归，我们的最终任务就是在下面这些离散的点中找出一条与每个点拟合度最高的直线，结果用图像显示出来就类似下面这样子

有过基本的初等数学知识的话都知道怎么来求空间上一点到直线的距离，这里我们采用了类似的思想，我们使用下面的公式来作为衡量我们预测函数的准确性。我们也把这个公式称为代价函数（损失函数）。式中yi是由样本给出的样本数据（每个数据点的纵坐标），h(xi)就是我们预测函数的预测结果。

对于以上给出的代价函数和预测函数，对于单变量线性回归，我们可以采用偏导数的方法来计算代价函数J的最小值。

这里小编建议大家把数学公式自己在草稿本随便写写，不一定要谁能看得懂，但是这样做你自己可以对偏导数方法有更深的理解和记忆。（好了小编其实是抓了几只蚂蚁从本子上爬了过去）

我们也可以才用正规方程的解法来求解损失函数的最小值，所谓正规方程，我们可以理解为矩阵方程。使用正规方程要注意的一点就是如果变量个数大于数据个数的时候会导致设计矩阵（暂且这么称呼它）不可逆，这时候由于逆矩阵无法获得，故此方法就不适用。
使用正规方程法，如果希望得到的模型带有偏置项b，就要先给数据集X增加全为1的一列，这样才会把b包含在W中（一般我们都会这么做）；如果不添加，那么模型是强制过原点的。

下图是我看吴恩达视频当时随手记的笔记，大家随便看看就好


第三个就是梯度下降算法，经常用来计算损失函数的最小值。梯度下降法的思想：
①首先对θ赋值，这个值可以是随机的，也可以是一个零向量；
②改变θ的值，使得J(θ)按梯度下降的方向进行减少；
③当J(θ)下降到无法下降时为止，即J(θ)对θ的导数为0时，比较J(θ)的值是否有变化。
对损失函数J(θ)求偏导，得到：

对于梯度下降算法，我们要进行的一个关键步骤就是参数更新。更新过程可以理解成：θi沿着梯度下降最快的方向进行递减的过程。左边的θi表示更新之前的值，等式右边表示沿着梯度方向减少的量，α表示步长，也称作学习速度，这个值需要人工手动设置。

通过不断更新θi的值直到J(θ)收敛，可以通过比较J(θ)的前后两个值是否有发生变化（继续下降），当没有发生变化时表示已经达到了最小值（可能是局部最小值）。
对于参数设置我们要注意：①当设置过小时，由于沿着最陡峭方向每次迈进的步伐太小，而导致收敛时间过长；②当设置过大时，很有可能会直接越过最小值，而无法得到J(θ)的最小值。
梯度下降示意图如下：