译自哈佛大学《Computing Log-Sum-Exp》。在许多ML库中,经常看到这类函数,如scipy中的misc.logsumexp、CRF++中的CRFPP::logsumexp,其意义何在?这篇文章旨在讲解这个必学,却没有任何ML课程会特意教的一个技巧。假设我们有N个实数,我们想求下式:这是非常常见的需求,比如你想用softmax去计算一个多项式分布(多分类逻辑回归)。你要计算对数似然的话,你就得计算上式这种规范化因子。如果很大或很小,朴素的直接计算会上溢出或下溢出,从而导致严重问题。举个例子,对...
继续阅读:码农场 » 计算指数函数的和的对数
原文链接:http://www.hankcs.com/ml/computing-log-sum-exp.html