m0_71991892的博客

原创 梯度下降那些事

在线性回归中，尤其是多变量回归模型，由于各个的数据之间量化纲位不同，如果数 据范围分别是是【0~1000，0 ~5】或者【-0.00004 ~ 0.00002，10 ~ 30】, 那么在使用梯度下降算法时，他们的等高线是一个又窄又高的等高线，如下图： 在这里插入图片描述 因为一个他们量化纲位不同会出现 （1，299），（3，800） 这种特征实例，那么等高线就会又窄又高，在梯度下降算法中，参数更新就会如上图左右震荡，如果等高线如下图，参数更新就能更快收敛与更新了 在这里插入图片描述 3..