梯度下降法的问题与挑战

1.选择一个合理的学习速率很难，需要在工作中不断调整，如果学习速率过低，导致收敛速度变慢，如果学习速率过大，那么模型难以收敛。

2.学习速率调整，我们一般在学习过程中不断调整学习速率。 

一开始我们先开始一个固定设置，随着迭代次数增加是学习率逐步衰减。

3.如果数据集不在一个数量等级内，即每个特征有着不同的取值空间，或者矩阵数据特征稀疏（稀疏的矩阵尽可能用大的速率）那么就不能用同样的学习速率。（归一化）

4.梯度下降法本身容易进入局部最优解中。

鞍点问题。