1 原始的定义
Log Sum Exp ( x 1 … x n ) = log ( ∑ i = 1 n e x i ) \operatorname{Log} \operatorname{Sum} \operatorname{Exp}\left(x_{1} \ldots x_{n}\right)=\log \left(\sum_{i=1}^{n} e^{x_{i}}\right) LogSumExp(x1…xn)=log(i=1∑nexi)
2 SoftMax
e x j ∑ i = 1 n e x i \frac{e^{x_{j}}}{\sum_{i=1}^{n} e^{x_{i}}} ∑i=1nexiexj
3 对SoftMax取对数
log ( e x j ∑ i = 1 n e x i ) \log \left(\frac{e^{x_{j}}}{\sum_{i=1}^{n} e^{x_{i}}}\right) log(∑i=1nexi
文章介绍了LogSumExp的计算中可能出现的溢出问题，并提出通过SoftMax函数及其对数形式来解决。通过变形，将LogSumExp转换为避免溢出的形式，其中c取最大值，从而确保数值稳定性。最后展示了SoftMax与LogSumExp的关系，为数值计算提供了稳定的方法。
最低0.47元/天 解锁文章
扫一扫
139
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
