【数值分析】—— 深度学习中的数值计算技巧

• underflow：浮点数下溢，数值逼近 0 时出现；
  
  • 0 作除数，
  • 对 0 取对数；
• overflow：浮点数上溢，数值逼近无穷大时出现；
• 浮点数溢出，不论是上溢还是下溢，会使得最终的结果 Undefined（比如为 NaN），或者跟真实的结果相差很大的量级；

1. softmax 函数

softmax 函数用于预测多分类问题，各个类别的概率输出。

$$\text{softmax}(\mathbf x)_i=\frac{\exp(x_i)}{\sum_{j=1}^n\exp(x_j)}$$

当 $\{x_j\}_{j=1,\cdots,n}$全部相等为 $c$，则经过 softmax 函数的变换，各个类别的输出均为 $1/n$，这是理想的情况。但在计算机浮点计算时，当 $c$：

• 是很大的负数时，$\exp(c)$ 逼近 0，分母逼近 0，下溢，结果未定义；
  • 是很大的正数，$\exp(c)$ 上溢；结果未定义；

  • 上溢还是下溢均可通过如下的简单变换解决：

    $$\mathbf z=\mathbf x-\max_{i=1,\cdots,n}x_i \\ \Downarrow \\ \text{softmax}(\mathbf z)_i=\frac{\exp(z_i)}{\sum_{j=1}^n\exp(z_j)}=\text{softmax}(\mathbf x)_i$$
    • $\mathbf z$ 中的某一项为 0，则分母中至少有一项为 1，避免了浮点数的下溢；
    • 减去最大值，避免了可能的浮点数的上溢；