梯度下降与预处理+学习率对结果的影响

书接上回线性回归笔记_灼清回梦的博客-CSDN博客

一、

 步长太小会导致训练时间过长：

 步长太大会导致数据浮动巨大：

 二、梯度下降有局部性：

 标准化：若x,y值差距过大，左图横纵坐标取值范围0-1，近似成为一条直线，会使得其变得更易迭代，收敛更快

右图x,y取值范围不同，会导致收敛极慢，所以一般拿到数据要先标准化

三、批量梯度下降演示：

 学习率对结果的影响：

 1.次数太多   2.合适  3.学习率太大未饱和（宁愿小不肯大，大了不理想）

四、随机梯度下降演示

五、minibatch梯度下降（小批量）