07 ，梯度下降 ： 总结，学习率，步长的大小控制

1 ，梯度下降 ： 总结

1. 求梯度 ： 偏导数向量和
   作用 ： 确定梯度下降的方向
2. 步长 ：每次下降多少距离

2 ，学习率 ：

1. 定义 ： 就是上面说的步长，每次移动的距离
2. 大小 ： 最好是小一点，不适合过大
   1 ，小 ： 走得慢，效率低
   2 ，大 ： 走得快，计算的结果不准
3. 学习原则 ：
   1 ，小学习率 ： 步长小一点
   2 ，大学习次数 ： 学习的次数多一点

3 ，学习率的变动 ：

1. 大步找谷底 ：
   
2. 范围内大步靠近 ：
   
3. 极值范围内 ： 小步移动
   

4 ，学习率 ： 常用取值

1. 常用值 ：从我做过的案例来看，0.01 比较适中
   0.01
2. 千万不可以 ： 太大
   如果步长太大，就看不到完整的数据轮廓，甚至有可能错过极值点