机器学习入门（1）——单变量线性回归

学习链接：https://study.163.com/course/courseMain.htm?courseId=1004570029
linear regression:
找到一条直线对离散点进行拟合：
（可以认为是最小二乘法）
理想的目标就是令代价函数（平方误差函数）J值最小，如下图：

那么为了满足计算机计算的条件，引入了以下的其中一种方法：
梯度下降法（Gradient descent）：

每次运算同时更新θ0和θ1，α是学习速率。
α值的选取存在一些问题：
α过大时：无法收敛甚至发散。
α过小时：收敛速度非常慢。
在每次迭代的过程中，如α值选取较好，则
会随着偏导的减小而越来越小，直到设置的终止条件（理论上是偏导至0时终止）。
梯度下降法理论上会受迭代初值以及α值影响，收敛到局部最优解，但是对于单变量线性回归，其代价函数为凸函数，因此仅有一个全局最优解，若成功收敛则收敛到全局最优。
最后具体算法为如下，又称为Batch梯度下降法：