线性回归

Linear Regression

单变量线性回归

代价函数

根据线性回归函数与数据节点的拟合效果，函数经过越多的数据点，与数据点的距离越小，模型的拟合效果越好。
根据最小二乘法计算预测值与实际值之间的误差平方和，定义代价函数：

（设定样本数为m，第i个样本）
寻找最优的参数，使代价函数J最小化。

梯度下降

梯度下降法通过迭代更新参数，不断趋近代价函数的全局最小或局部最小。

（参数需要同步更新）

线性回归的梯度下降

这种方法也叫做批量梯度下降（Batch 梯度下降），会读取全部数据集，不适合处理大数据集。
随机梯度下降适合大数据集。