《深度学习》同步学习笔记 第四章——数值计算

4.1 上溢和下溢

因为计算机需要用有有限数量的位模式来表示无限多的实数，这会引入舍入误差。
下溢：接近0的数被四舍五入为0，一些很小的参数就会被零除或取0的对数，需要避免。
上溢：大量级的数被近似为无穷时发生上溢

例子：softmax函数

解决：$$softmax(z)$$ $$\mathbf{z}=\mathbf{x}-{\text{max}}_i{x}_i$$

4.2 病态条件

输入被轻微扰动而迅速改变的函数可能会因为舍入误差导致输出又巨大变化。
判断这个扰动程度的函数：

（最大和最小特征值模之比）当该数很大说明矩阵求逆对输入误差特别敏感 这是矩阵本身的固有特性

4.3 基于梯度的优化方法

改变 x 以最小化或最大化某个函数 f(x)
梯度下降法

4.3.1 梯度之上：Jacobian 和 Hessian 矩阵

雅克比矩阵
海森矩阵
牛顿法（略）
仅使用梯度信息的优化算法被称为 一阶优化算法如梯度下降
使用海森矩阵的优化算法被称为 二阶最优化算法如牛顿法
这些优化算法不一定都适合各种函数，但是满足利普希茨连续条件的可以得到一些保证

4.4 约束优化

望在 x 的某些集合 S 中找 f(x) 的最大值或最小值
简单方法：将约束考虑在内后简单地对梯度下降进行修改——在梯度下降单步结果的线上寻找
复杂方法：设计一个不同的、无约束的优化问题，其解可以转化成原始约束优化问题的解

通用方案：KKT

---

第五章是机器学习基础算是对之前知识的一些回顾和概括，便不再赘述