一、数值上溢和数值下溢的问题
数值上溢:大量级的数被近似为正无穷或负无穷时发生上溢,进一步运算导致无限值变为非数字。
数值下溢:接近零的数被四舍五入为0时发生下溢。被零除,取零的对数,进一步运算会变为非数字。
二、softmax函数
三、softmax函数解决数值溢出问题
利用softmax(z)来解决,其中,减去
,导致exp里的最大参数为0,这排除了上溢的可能性。
分母中至少有一个值为1的项,排除了因分母下溢导致被零除的可能。
参考:深度学习
数值上溢:大量级的数被近似为正无穷或负无穷时发生上溢,进一步运算导致无限值变为非数字。
数值下溢:接近零的数被四舍五入为0时发生下溢。被零除,取零的对数,进一步运算会变为非数字。
利用softmax(z)来解决,其中,减去
,导致exp里的最大参数为0,这排除了上溢的可能性。
分母中至少有一个值为1的项,排除了因分母下溢导致被零除的可能。
参考:深度学习