机器学习笔记之优化算法(十)梯度下降法铺垫：总体介绍

引言

从本节开始，将介绍梯度下降法$(\text{Gradient Descent,GD})$。

回顾：线搜索方法

线搜索方法作为一种常见优化问题的策略，该方法的特点是：其迭代过程中，将数值解的方向和步长分开执行。对应数学符号表达如下：

• 其中${\mathcal{P}}_k$是一个向量，描述更新方向;${\alpha }_k$是一个$>0$的实数，表示步长。
• 由于我们更关注向量${\mathcal{P}}_k$的方向性，因而通常将其表示为单位向量,即$||{\mathcal{P}}_k||=1$。
  $$x_{k+1}=x_k+{\alpha }_k\cdot {\mathcal{P}}_k$$

线搜索方法的方向${\mathcal{P}}_k$

在线搜索方法——方向角度中介绍过：关于目标函数$f(\cdot )$的终极目标：$\underset{\mathcal{X}\in {\mathbb{R}}^n}{\min }f(\mathcal{X})$，如果数值解序列 { x k } k = 0 ∞ \{x_k\}_{k=0}^{\infty} { xk​}k=0∞​对应的目标函数结果 { f ( x k ) } k = 0 ∞ \{f(x_k)\}_{k=0}^{\infty} { f(xk​)}k=0∞​服从严格的单调性：
$$f(x_{k+1})<f(x_k)$$
那么必然有：

• 其中$[\nabla f(x_k)]$表示数值解$x_k$对应目标函数的梯度向量,详细推导过程见上方链接。
• ${\mathcal{P}}_k$化为单位向量产生的常数系数合并到${\alpha }_k$中。
  $$f(x_{k+1})-f(x_k)\approx [\nabla f(x_k){]}^T{\mathcal{P}}_k\cdot {\alpha }_k<0$$

从而将满足该条件的${\mathcal{P}}_k$称作下降方向$(\text{Descent Direction})$。将上式展开有：

• 其中${\theta }_k$表示向量$\nabla f(x_k)$与向量${\mathcal{P}}_k$之间的夹角。
• 在仅考虑方向角度对$f(x_{k+1})-f(x_k)$影响的情况下，将${\alpha }_k$忽略，不改变不等号方向。
  $$||\nabla f(x_k)||$$