视频来源:
李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
https://www.bilibili.com/video/av10590361/?p=4
重点:
(1)调节lr(learning rate步长),lr参数的调节。迭代次数为1000次
lr=0.0000001
结果
步长较小的情况走了10000步,才刚刚转方向 矩离 X是我们的最佳解 较远
(2)lr放大十倍 矩离最优解(x符号哪里)较劲了
(3)放大100倍(步子太大错过了转向以及最优解)
解决方法---个性化为参数w和b分别的设置lr--------称为Adagrad
运行结果: