简析梯度下降法的数学原理

在机器学习领域的大部分算法中，最终求解损失函数的极值几乎都是基于梯度下降法。这个在数学上是如何求解出来的？

参考资料：https://web.stanford.edu/class/ee364b/lectures/stoch_subgrad_slides.pdf
（第20页）

设损失函数$f(x)$是二阶可导的, 优化问题即为求解

$$\underset{x\in\mathbb{R}^d}{argmin}f(x)$$
设 $x^t$为第 $t$次更新之后的变量值，由以下Taylor展开公式： $$f(y) \approx f(x^t)+\nabla f(x^t)^T(y-x^t)+\frac{L_t}{2}\|y-x^t\|^2$$
因此，第 $t+1$步的变量值应由下式得到：
$$x^{t+1}=\underset{y\in\mathbb{R}^d}{argmin}\left\{f(x^t)+\nabla f(x^t)^T(y-x^t)+\frac{L_t}{2}\|y-x^t\|^2\right\}$$
等价于：
$$x^{t+1}=\underset{y\in\mathbb{R}^d}{argmin}\left\{\left\| \frac{\nabla f(x^t)}{L_t}\right\|^2+2\frac{\nabla f(x^t)^T}{L_t}(y-x^t)+\|y-x^t\|^2\right\}$$
$$x^{t+1}=\underset{y\in\mathbb{R}^d}{argmin}\left\{\left\|y-\left(x^t-\frac{\nabla f(x^t)}{L_t}\right)\right\|^2\right\}$$

因此，

$$x^{t+1}=x^t-\alpha_t\nabla f(x^t), ~~\alpha_t = L^{-1}_t .$$