机器学习：线性回归算法

单变量线性回归

线性回归的一般步骤

从我们最熟悉的开始…

损失函数

线性回归实际上要做的事情就是：
选择合适的参数（θ0, θ1），使得hθ(x)方程，很好的拟合训练集

损失（代价）函数 – 均方误差

梯度下降

梯度下降

梯度下降是一种非常通用的优化算法，能够为大范围的问题找到最优解。梯度下降的中心思想就是迭代的调整参数从而使损失函数最小化

假设你迷失在山上的浓雾之中，你能感觉到的只有你脚下路面的坡度。快速到达山脚的一个策略就是沿着最陡的方向下坡。这就是梯度下降的做法：通过测量参数向量θ相关的误差函数的局部梯度，并不断沿着降低梯度的方向调整，直到梯度降为0，到达最小值

具体来说，首先使用一个随机的θ值（这被称为随机初始化），然后逐步改良，每次踏出一步，每一步都尝试降低一点损失函数（如MSE），直到算法收敛出一个最小值

梯度下降的方向1：只要对损失函数求导，θ的变化方向永远趋近于损失函数的最小值

梯度下降的方向2： 如果θ已经在最低点，那么梯度将不会发生变化

不论斜率正或负，梯度下降都会逐渐趋向最小值