计算指数函数的和的对数

计算指数函数的和的对数
译自哈佛大学《Computing Log-Sum-Exp》。在许多ML库中,经常看到这类函数,如scipy中的misc.logsumexp、CRF++中的CRFPP::logsumexp,其意义何在?这篇文章旨在讲解这个必学,却没有任何ML课程会特意教的一个技巧。假设我们有N个实数,我们想求下式:这是非常常见的需求,比如你想用softmax去计算一个多项式分布(多分类逻辑回归)。你要计算对数似然的话,你就得计算上式这种规范化因子。如果很大或很小,朴素的直接计算会上溢出或下溢出,从而导致严重问题。举个例子,对...

继续阅读码农场 » 计算指数函数的和的对数

原文链接http://www.hankcs.com/ml/computing-log-sum-exp.html

转载于:https://my.oschina.net/hankcs/blog/732269

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值