深度学习初探/01-回归问题/梯度下降算法Gradient Decent
一、梯度下降算法的本质
通过迭代计算,不断调整 x x x的取值,从而求得函数的“极小值”
二、梯度下降算法的具体实现(类似于“二分查找”)
【 x 1 x_1 x1】为每次迭代后所求得的“下一步 x x x值”;
【 x 0 x_0 x0】为“当前 x x x值”;
【 f ′ ( x 0 ) f'(x_0) f′(x0)】为“ f ( x ) f(x) f(x)在点 x 0 x_0 x0处的导数值”
【LR】Learning Rate,即学习速率,用于控制每一次迭代的“步长Step”,避免每一次调整距离过大
【 x ∗ x^* x∗】最终求得的极小值点
迭代公式: x 1 = x 0 − f ′ ( x 0 ) ∗ L R x_1 = x_0 - f'(x_0)*LR x1=