zlr的博客

原创 深度学习初探/01-回归问题/1-梯度下降算法Gradient Decent

深度学习初探/01-回归问题/梯度下降算法Gradient Decent 一、梯度下降算法的本质 通过迭代计算，不断调整xxx的取值，从而求得函数的“极小值” 二、梯度下降算法的具体实现 【x1x_1x1​】为每次迭代后所求得的“下一步xxx值”; 【x0x_0x0​】为“当前xxx值”; 【f′(x0)f'(x_0)f′(x0​)】为“f(x)f(x)f(x)在点x0x_0x0​处的导数值” 【LR】Learning Rate，即学习速率，用于控制每一次迭代的“步长Step”，避免每一次调整距离过大 【x