利用softmax解决数值上溢和下溢

一、数值上溢和数值下溢的问题

    数值上溢：大量级的数被近似为正无穷或负无穷时发生上溢，进一步运算导致无限值变为非数字。

    数值下溢：接近零的数被四舍五入为0时发生下溢。被零除，取零的对数，进一步运算会变为非数字。

二、softmax函数

                

三、softmax函数解决数值溢出问题

    利用softmax(z)来解决，其中，减去，导致exp里的最大参数为0，这排除了上溢的可能性。

    分母中至少有一个值为1的项，排除了因分母下溢导致被零除的可能。

参考：深度学习