本文介绍了在Machine Learning中LogSumExp小技巧的运用，它能避免数值溢出并用于softmax的实现。LogSumExp公式通过数学转换确保了计算的稳定性和准确性，同时提供了从LogSumExp到Softmax表达式的转换方法。文中还提到了LogSumExp在神经网络中的应用。
LogSumExp小技巧
Machine Learning当中会涉及到许多的小技巧让运算更快捷，或者结果更精确，其中LogSumExp就是一种可以运到softmax的代码实现中小技巧。
L o g S u m E x p ( x 1 … x n ) = log ( ∑ i = 1 n e x i ) LogSumExp(x_1…x_n) = \log\big( \sum_{i=1}^{n} e^{x_i} \big) LogSumExp(x1…xn)=log(i=1∑nexi)
Softmax的表达式为
e x j ∑ i = 1 n e x i \frac{e^{x_j}}{\sum_{i=1}^{n} e^{x_i}} ∑i=1nexiexj
返回的结果是对所有Xj的归一化，使得所有xj的总和为1，用来表示所需的概率分布。
log ( e x j ∑ i = 1 n e x i ) = log ( e x j ) − log
最低0.47元/天 解锁文章
扫一扫
118
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
