AI圣经-深度学习-读书笔记（四）-数值计算

数值计算

机器学习算法通常需要大量的数值计算，这通常是指通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。常见的操作包括优化和线性方程组的求解。

对上溢和下溢进行数值稳定的一个例子是softmax函数。

病态条件

条件数指的是函数相对于输入的微小变化而变化的快慢程度，输入被轻微扰动而迅速改变的函数对于科学计算来说可能是有问题的，因为输入中的舍入误差可能导致输出的巨大变化。

优化

优化指的是改变x以最小化或最大化某个函数$f(x)$的任务，我们通常以最小化$f(x)$指代大多数最优化问题。

梯度下降

将x往导数的反方向移动一小步来减小$f(x)$，称为梯度下降。

一阶导数为0的点称为临界点，有些临界点既不是最小点也不是最大点，称为鞍点。在多维条件下，临界点是梯度中多有元素都为零的点。

针对具有多维输入的函数，需要用到偏导数的概念，

梯度是相对一个向量求导的导数。

虽然梯度下降被限制在连续空间中的优化问题，但不断向更好的情况移动一小步（即近似最佳的小移动）的一般概念可以推广到离散空间。

计算输入和输出均是向量的函数的所有偏导数的矩阵称为$Jacobian$矩阵。

二阶导数是对曲率的衡量。二阶导数组成的矩阵称为$Hessian$矩阵。深度学习中，我们遇到的大多数$Hessaian$矩阵大部分都是实对称矩阵，可以将其分为一组实特征值和一组特征向量的正交基。

当我们要最小化的函数能用二次函数很好地近似的情况下，$Hessian$的特征值决定了学习率的量级。

凸优化算法只对凸函数适用，即$Hessian$处处半正定的函数。因为这些函数没有鞍点，而且所有局部极小点必然是全局极小点，所以表现很好。凸优化中的分析思路对证明深度学习算法的收敛性非常有用，一般来说，深度学习背景下的凸优化的重要性大大减少。

约束优化

在x的所有可能值下最大化或最小化一个函数$f(x)$不是我们所希望的，相反，我们可能希望在x的某个集合s中找f(x)的最大值或最小值。