单变量线性回归
线性回归的一般步骤
从我们最熟悉的开始…
损失函数
线性回归实际上要做的事情就是:
选择合适的参数(θ0, θ1),使得hθ(x)方程,很好的拟合训练集
损失(代价)函数 – 均方误差
梯度下降
梯度下降
梯度下降是一种非常通用的优化算法,能够为大范围的问题找到最优解。梯度下降的中心思想就是迭代的调整参数从而使损失函数最小化
假设你迷失在山上的浓雾之中,你能感觉到的只有你脚下路面的坡度。快速到达山脚的一个策略就是沿着最陡的方向下坡。这就是梯度下降的做法:通过测量参数向量θ相关的误差函数的局部梯度,并不断沿着降低梯度的方向调整,直到梯度降为0,到达最小值
具体来说,首先使用一个随机的θ值(这被称为随机初始化),然后逐步改良,每次踏出一步,每一步都尝试降低一点损失函数(如MSE),直到算法收敛出一个最小值
梯度下降的方向1:只要对损失函数求导,θ的变化方向永远趋近于损失函数的最小值
梯度下降的方向2: 如果θ已经在最低点,那么梯度将不会发生变化
不论斜率正或负,梯度下降都会逐渐趋向最小值