防止softmax函数上溢出(overflow)和下溢出(underflow)
《Deep Learning》(Ian Goodfellow & Yoshua Bengio & Aaron Courville)第四章「数值计算」中,谈到了上溢出(overflow)和下溢出(underflow)对数值计算的影响,并以softmax函数和log softmax函数为例进行了讲解。这里我再详细地把它总结一下。『1』什么是下溢出(underflow)和上溢出(ove...
转载
2020-04-01 20:47:32 ·
1195 阅读 ·
0 评论