Ng机器学习笔记——单变量线性回归

单变量线性回归（Linear Regression with One Value)

模型表示

• 以房屋价格预测为例，该回归问题中的相关标记如下

  • 

  • 
    常用该表达式，因为只含一个特征/输入变量，被称为单变量线性回归问题。

  • 后期简写为h(x)

代价函数

• 针对上方的表达式，需要选择适合的参数（parameters）,模型所预测的值与训练集中实际值之间的差距被称作建模误差（modeling error）
• 我们的目标是选择出可以使得建模误差的平方和能够最小的模型参数，使得代价函数
  最小
• 代价函数
  • 也称作平方误差函数，也被称作平方误差代价函数。
  • 特别是对于回归问题而言是一个合理的选择。

梯度下降

• 一个用来求函数最小值的算法

• 随机选择参数的组合然后计算代价函数，寻找下一个让代价函数下降最多的参数组合直到找到一个局部最小值（local minimum），不能保证是全局最小值（global minimum）

• 批量梯度下降（batch gradient descent）算法公式如下

  • 

  • 其中a是学习率（learning rate），决定了沿着代价函数下降程度最大的方向向下迈出的步子有多大。

  • 梯度下降中如果a太小，会很慢才能达到最低点，如果a太大，可能会越过最低点无法收敛，甚至发散。

  • 之所以不用改变a也可以收敛，是因为学习率所乘的导数所代表的斜率也会越来越小，每次更新都会越来越小，自然移动的幅度也会越来越小

梯度下降的线性回归

• 通过比较梯度下降与线性回归算法

  • 

  • 该阶段的梯度下降算法为批量梯度下降算法。

  • 使用正规方程（normal equations）也可以不用梯度下降求出代价函数J的最小值。实际上在数据量较大的情况下，梯度下降算法比正规方程更适用。

线性代数回顾（Linear Algebra Review）

• 矩阵乘法性质

  • 

• 矩阵转置

  •