数值计算中的overflow and underflow
以softmax为例
实数在计算机内用二进制标识，所以不是一个精确值，当数值过小的时候，被四舍五入为0，这就是下溢出，而指数函数容易出现无穷大数而导致溢出错误，如e100=2.6881171418161356e+43，e1000=inf，这些无穷大无法进行除法运算，就出现OverflowError错误，这是因为计算机能够处理的“数”必须在4字节或者8字节的有限数值范围内。
下溢：当接近零的数被四舍五入为零时发生下溢。
上溢：大量级的数被近似为无穷时发生上溢。
如何解决
令
M
=
m
a
x
(
x
i
)
M=max(x_i)
M=max(xi)，为所有x中的最大值，只需要把计算
f
(
x
i
)
f(x_i)
f(xi)的值变成计算
f
(
x
i
−
M
)
f(x_i-M)
f(xi−M)的值就可以解决上述问题
理论依据：
在很多数值计算的library中，都采用了类似的方法来保持数值稳定。之前在实际项目中遇到过，怕遗忘，记录一下
5763
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
