1.learning rate
位置t+1 = 位置t - 学习率×梯度下降
![在这里插入图片描述](https://img-blog.csdnimg.cn/994daa60e71644ef9df13b765ef7ccc7.png#pic_center#)
![在这里插入图片描述](https://img-blog.csdnimg.cn/049245c5088340d2902ab3f67332e017.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAd2VpeGluXzQyOTQ5ODUw,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center#)
通常learning rate是随参数update越来越小
learning ratet调整技巧:Adagrad
用过去所有gradient的均方根
![在这里插入图片描述](https://img-blog.csdnimg.cn/bfb636f9ba674dc98ec572298c04365f.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAd2VpeGluXzQyOTQ5ODUw,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center#)
![在这里插入图片描述](https://img-blog.csdnimg.cn/050b3b9cf239405885686c252dbf3668.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAd2VpeGluXzQyOTQ5ODUw,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center#)
2.Stochastic Grandient Decent
每看到一个example就update一次
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/4de5b942ce14aac7cb0fa05715102ca6.png)
3. Feature Sclaing
让不同feature的值范围一样
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/deceec05332ac761a581f419a66b72f2.png)
蓝色的feature范围差别太大为椭圆,需要不同的learning rate,比较麻烦
做Feature Sclaing的常见方法;
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/1db55637c8d1158dd9348bf1f27db1f2.png)