花书笔记：第04章 数值计算

花书笔记：第04章 数值计算

  数值计算通常通过 迭代更新 解的 估计值 来解决数学问题。

4.1 上溢和下溢

• 计算机只能近似的表示一个实数，因为存在误差，所以一些理论上成功的算法，实际上却失效了，因此算法在设计过程中需要考虑误差的累积。

• 下溢：当接近 0 的数字被四舍五入为 0 时，造成下溢。

• 上溢：当大数量级的数被近似为 $\infty$ 或 $-\infty$ 时，造成上溢。

• 例： 如何防止 $softmax$ 函数上下溢
  $$softmax(x{)}_i=\frac{exp(x_i)}{{\sum }_{j=1}^{n}exp(x_j)}$$
  1) 根据 $softmax$ 函数可以看出，若 $x$ 是很小的负数，则分母会变成 0 ，造成下溢；若 $x$ 很大，则 $exp(x_i)$ 会接近 $\infty$ 造成上溢。

  2) 解决方案
  $$使用softmax(z\text{z}z),其中z\text{z}z=x\text{x}x-max(x_i)$$
  ​ 注： 代数计算表明 $softmax$ 解析函数值不会因为向量 $x$ 加上或减去一个标量而改变。

4.2 病态条件

• 条件数：指函数相对于输入的微小变化而变化的快慢程度；该数很大时，函数对输入的误差特别敏感。

$$函数f(x)=A^{-1}xA可以进行特征值分解，条件数为：\underset{i,j}{\max }|\frac{{\lambda }_i}{{\lambda }_j}|$$

4.3 基于梯度的优化方法

• 在深度学习中，我们通常会定义一个 目标函数 $f(x)$ 来表示这个模型相对于 期望值 的误差。并想办法优化误差，期望能够找到 $x_i$ 是 $f(x)$ 的值能够最小。梯度下降法(gradient descent)是最常用的优化方法。

• 梯度下降法(gradient descent)

  $$x^{\prime }=x-ϵ{\nabla }_{x}f(x)$$
  ​ 以二维为例，此时梯度维倒数。$f^{\prime }(x)$ 为 $f(x)$ 的斜率。从下图可以看出，当 $x$ 朝 $f^{\prime }(x)$ 的反方向慢慢移动时，将会越来越接近 $f(x)$ 取得最小值的 $x^{\prime }\text{x′}{x}^{\prime }$。推广至多维空间时，向逆梯度方向移动可以慢慢找到极小点，$ϵ\text{ϵ}ϵ$ 为学习率(learning rate）用与控制 $x$ 的移动速度。

  

  ​ 众多周知，函数有时会存在多个极小值，因此梯度下降并不能保证一定能找到全局最小点(如下图所示)。所以只要最后找到的解使得目标函数 $f(x)$ 显著的低，并且模型效果达到要求就好。

  

4.3.1 梯度之上：Jacobian 和 Hessian 矩阵

• Jacobian矩阵：输入和输出都为向量的函数的所有偏导数即梯度。
  $$f\text{f}f:{\mathbb{R}}^m\to {\mathbb{R}}^n;{J\text{J}J}_{i,j}=\frac{\partial }{\partial x_j}f(x{)}_{i}J\text{J}J\in {\mathbb{R}}^{n\times m}$$

• Hessian矩阵：Jacobian矩阵是一阶倒数，计算的是梯度；Hessian 是二阶导数，等价于梯度的Jacobian矩阵。
  $$H\text{H}H(f)(x{)}_{i,j}=\frac{{\partial }^2}{\partial x_i\partial x_j}f(x)$$

  1. 可以通过Hessian矩阵 和 二阶泰勒级数预期下一个梯度下降性能表现得多好。

  2. 在临界处(${\nabla }_{x}f(x)=0$)，Hessian是正定的(特征值都为正)，该临界点为局部极小点；Hessian是负定的(特征值都为负)，该临界点为局部极大点。

• 梯度下降和牛顿法

  1. 梯度下降使用梯度进行优化，属于一阶优化算法。牛顿法使用Hessian矩阵进行优化属于二阶最优化算法。

  2. 牛顿法迭代更新可以更快的到达临界点，但该临界点也有可能是鞍点(有害的)，所以当附近的临界点是最小点时(Hessian是正定的) 牛顿法才适用。

  3. 梯度下降速度可能没有牛顿法快，但其不容易被吸引到鞍点。

4.4 约束优化

• 定义：约束在 $x\text{x}x$ 的某些集和 $\mathbb{S}$ 中找到 $f(x)$ 的最大值或最小值。

• Lagrangian 函数

  • 约束表示： S = { x ∣ ∀ i , g ( i ) ( x ) = 0 a n d ∀ j , h ( j ) ( x ) ≤ 0 } \mathbb{S}= \{x|\forall i,g^{(i)}(x)=0 \quad and\quad\forall j,h^{(j)}(x)\leq0\} S={x∣∀i,g(i)(x)=0and∀j,h(j)(x)≤0}；可以包含 n 个等式约束和 m 个不等式约束

  • 根据KKT条件Lagrangian 函数为：
    $$L(x,\lambda ,\alpha )=f(x)+\sum _i{\lambda }_i{g}^{(i)}(x)+\sum _i{\alpha }_j{h}^{(j)}(x)$$
    其中 ${\lambda }_i$ 和 ${\alpha }_j$为每个约束引入的变量。

    对 $f(x)$ 进行优化可以转化为：
    $$\underset{x\in \mathbb{S}}{\min }f(x)=\underset{x}{\min }\underset{\lambda }{\max }\underset{\alpha ,\alpha \ge 0}{\max }L(x,\lambda ,\alpha )$$
    注：该方法如何应用之后会有实例，本章只介绍大概思想。

• 最优点的必要条件：

  1）该点Lagrangian 函数梯度(导数)为 0 。

  2）关于$x$和KKT乘子的约束都满足， S = { x ∣ ∀ i , g ( i ) ( x ) = 0 a n d ∀ j , h ( j ) ( x ) ≤ 0 } \mathbb{S}= \{x|\forall i,g^{(i)}(x)=0 \quad and\quad\forall j,h^{(j)}(x)\leq0\} S={x∣∀i,g(i)(x)=0and∀j,h(j)(x)≤0}。

  3）$\alpha ⨀h(x)=0$，即 $\forall i，{\alpha }_i\times h_i(x)=0$。

4.5 线性最小二乘

4.5.1 无约束情况

• 优化目标
  $$最小化f(x)=\frac{1}{2}||A\text{A}Ax-b\text{b}b|{|}_2^2$$
  在二维空间中，可以看作找一条最优直线，使直线到各点的距离最短。

• 法1：梯度下降

  1）求梯度
  $${\nabla }_{x}f(x)=A^T(Ax-b)=A^{T}Ax-A^{T}b$$
  2）梯度下降算法

• 法2：牛顿法

  由于真实函数是二次的，牛顿法的二次近似是精确的，所以该算法会在迭代一次后收敛到全局最小。
  $$x^{\ast }=\frac{A^{T}b}{A^{T}A}$$

4.5.2 有约束情况

• 优化目标

$$最小化f(x)=\frac{1}{2}||A\text{A}Ax-b\text{b}b|{|}_2^2;(约束：x^{T}x\le 1)$$

• 求解

  1）引入 Lagrangian 函数
  $$L(x,\lambda )=f(x)+\lambda (x^{T}x-1)$$
  ​ 求
  $$\underset{x}{\min }\underset{\lambda ,\lambda \ge 0}{\max }L(x,\lambda )$$
  2）情况1：使用伪逆求解
  $$x=A^{+}b$$
  ​ 若满足约束 $x^{T}x\le 1\text{xTx≤1}{x}^{T}x\le 1$ 则，此解为约束问题的解。

  3）情况2：找活跃解

  ​ 对 $L(x,\lambda )$ 求导得
  $$x=(A^{T}A+2\lambda I{)}^{-1}{A}^{T}b\text{\hspace{1em}(4.26)}$$
  ​ 对 $\lambda$ 求偏导
  $$\frac{\partial }{\partial \lambda }L(x,\lambda )=x^{T}x-1$$
  ​ 求解
  $$\lambda =\lambda +ϵ\frac{\partial L}{\partial \lambda }\text{\hspace{1em}(4.28)}$$
  ​ 根据式4.28对 $\lambda$ 进行梯度上升，并代入式4.26求解，反复循环，直至满足约束 $x^{T}x\le 1\text{xTx≤1}{x}^{T}x\le 1$ 和 $\frac{\partial L}{\partial \lambda }=0\text{∂λ∂L=0}\frac{\partial L}{\partial \lambda }=0$ 结束。