线性回归和梯度下降讲解与代码

本文也是根据吴恩达机器学习课程作业的答案。

---

回归：预测值是连续的； 分类：预测值是离散的；

建模误差：预测值与实际值之间的差距；

目标：选择模型参数，使得建模误差的平方和能够最小，即代价函数最小；

代价函数：选择平方误差函数，是解决回归问题最常用的手段；代价函数是帮助我们选择最优的参数的方法，即设定标准为参数使得建模误差最小；

梯度下降：用来求函数最小值的算法，它背后的思想是，开始时随机选择一个参数的组合，计算代价函数，然后寻找下一个能让代价函数值下降最多的参数组合。持续知道得到一个局部最小值。实现梯度下降算法的微妙之处是，同时更新参数；

梯度下降的直观理解：微分部分是那个点的斜率，右边部分的曲线的斜率是不断减小的，局部最优点的斜率为0（假设代价函数为抛物线）；

批量梯度下降：在梯度下降的每一步中，我们都用到了所有的训练样本；

 

在多变量线性回归中

为了将特征向量化，引入x0=1，故该式实际变量为n。特征矩阵X的维度是m*(n+1)

特征缩放：保证特征都具有相似的尺度（-1,1），将帮助梯度下降算法更快的收敛。

正规方程：求解正规方程找出使得代价函数最小的参数。