machine learning(线性回归)

线性回归：

         在统计学中，线性回归(LinearRegression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。

         解释：一元线性回归，即基于给出的训练数据，找出线性关系，使这个线性方程最大程度拟合所有点的。

代价函数(用于计算当前参数所预测的值与实际值的平方差)：

         代价函数也被乘坐平方误差函数

         作用帮助我们把最有可能的直线与我们的数据进行拟合，即选择假设函数中的模型参数θ。

         为了选择出最合适的拟合曲线，我们的想法是：

         Hθ(x)也就是输入x时我们预测的值，最接近改样本对应的y值的参数θ0和θ1。

是变量theta1 和 theta2的函数，所以所以我们的目标是获取使的值最小的theta1和theta2的值。

过程:

Gradient descent梯度下降算法

         作用：将代价函数J最小化

         特点：起始点不同，局部最优解也会不同

定义：

一定要保证同时更新θ！！！

下边这个是错误：

原因是当theta0更新后theta1更新时求导数时所用的所用的theta0是已经改变过的，所以这种顺序是错误的。

在梯度下降算法：

其中

α代表下降速率。

某个具体θ的变化过程。

Gradient descent的关键在于选择合适的下降速率，如果选择过小或者过大的下降速率都会出现问题：

当起始点在最低点时，斜率是0，所以到达最低点时

theta的值当保持不变，因为对theta求导数时导数是0.

Batch Gradientdescent：批量梯度下降指的是在在每次梯度下降中我们都使用全部的训练数据。

         缺点：批量梯度下降方法会经过大量的迭代，时间花费很巨大。

延伸：

为改进批量梯度下降方法必须进行大量的迭代操作，我们建议使用Linear Algebra方法。

利用矩阵计算，速度提升很多。