一、
步长太小会导致训练时间过长:
步长太大会导致数据浮动巨大:
二、梯度下降有局部性:
标准化:若x,y值差距过大,左图横纵坐标取值范围0-1,近似成为一条直线,会使得其变得更易迭代,收敛更快
右图x,y取值范围不同,会导致收敛极慢,所以一般拿到数据要先标准化
三、批量梯度下降演示:
学习率对结果的影响:
1.次数太多 2.合适 3.学习率太大未饱和(宁愿小不肯大,大了不理想)
四、随机梯度下降演示
五、minibatch梯度下降(小批量)
一、
步长太小会导致训练时间过长:
步长太大会导致数据浮动巨大:
二、梯度下降有局部性:
标准化:若x,y值差距过大,左图横纵坐标取值范围0-1,近似成为一条直线,会使得其变得更易迭代,收敛更快
右图x,y取值范围不同,会导致收敛极慢,所以一般拿到数据要先标准化
三、批量梯度下降演示:
学习率对结果的影响:
1.次数太多 2.合适 3.学习率太大未饱和(宁愿小不肯大,大了不理想)
四、随机梯度下降演示
五、minibatch梯度下降(小批量)