之前介绍的梯度下降中只有两个变量,现在考虑有0~n共n+1个变量的时候。与单变量线性回归类似,在多变量线性回归中,我们也构建一个代价函数,则这个代价 函数是所有建模误差的平方和,多变量线性回归的批量梯度下降算法为
注意多个变量的变化也是要同时计算更新。
参数的范围会对梯度下降的算法产生影响,因此常用的梯度下降处理方法有特征缩放和选择合适大小的学习率
特征缩放:要保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛,尝试将所有特征的尺度都尽量缩放到-1 到 1 之间。 x=(x-u)/s u是均值,s是标准差。特征缩放在梯度下降中很重要,在介绍多项式回归中,在多次函数中特征的数量级可能相差很大,这时就要使用特征缩放以提高效率。
如何选择合适大小的学习率:观察J(