6.1 学习率设置的重要性
在使用梯度下降进行最小化 f ( x ) f(x) f(x), 初始值为 x i x_i xi, 则 x i + 1 x_{i+1} xi+1公式为
x i + 1 = x i − l r ∂ f ( x i ) ∂ x i x_{i+1}=x_i -lr \frac{\partial f(x_i)}{\partial x_i} xi+1=xi−lr∂xi∂f(xi)
lr为learning rate,学习率。学习率过大可能会导致无法得到很好的收敛，学习率过小会导致收敛过慢。
例如，优化目标为 f ( x ) = x 2 f(x) = x^2 f(x)=x2, 则 f ( x ) f(x)
最低0.47元/天 解锁文章
2040
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
