1、上溢和下溢
(1)当接近0的数被四舍五入为0时发生下溢,当大量级的数被近似为∞时发生上溢;
(2)softmax函数常用来进行数值稳定,定义为:
2、梯度下降
(1)梯度下降就是通过计算导数找到函数下坡方向,沿着函数下坡方向直到最小;
(2)当f'(x)=0时,导数无法提供往哪个方向移动的信息,这个点被称为临界点或驻点;(可能是局部极小值点、局部极大值点或者鞍点)
(3)当f'(x)=0且f"(x)>0时,x是一个局部极小点(向左减小,向右增大);当f'(x)=0且f"(x)<0时,x是一个局部极大点;当f"(x)=0时,无法确定。
3、病态条件:条件数指的是函数相对于输入的微小变化而变化的快慢程度。
4、Jacobian和Hessian矩阵