4-2:多变量梯度下降
创建一个多变量的代价函数,这个代价函数就是建模误差的平方和
多变量线性回归的批量梯度下降算法为:
求导后:
当n>=1时,
开始随机选择一系列的参数值,计算所有的预测结果后,再给所有的参数一个新的值,如此循环直到收敛。
4-3:梯度下降法-特征缩放
如果两个特征的值差距悬殊的话,梯度下降法需要非常多次迭代才能收敛。
解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间。
最简单的方法是令: ,其中 是平均值, 是标准差。
4-4:梯度下降法-学习率
梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们不能提前预知,我们可以绘制迭代次数和代价函