20211103深度学习：Gradient Descent

1.learning rate

位置t+1 = 位置t - 学习率×梯度下降

通常learning rate是随参数update越来越小
learning ratet调整技巧：Adagrad

用过去所有gradient的均方根

2.Stochastic Grandient Decent

每看到一个example就update一次

3. Feature Sclaing

让不同feature的值范围一样

蓝色的feature范围差别太大为椭圆，需要不同的learning rate,比较麻烦
做Feature Sclaing的常见方法;