为什么求概率后一般取log？

最新推荐文章于 2023-04-30 13:14:51 发布
最新推荐文章于 2023-04-30 13:14:51 发布
阅读量3.3k 收藏 4
点赞数 5
分类专栏： 基础知识 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN_of_ding/article/details/108828545
版权

取log的优点：
1.首先log是单调函数（不改变极值的位置）
2.简化计算，对数可以把乘法运算转换为加法，除法转换为减法，求导数时就可以分别求导，使得运算大为简化

因此，绝大多数最优化问题都会先做个log

有梦想有行动
关注
专栏目录
max-log-map.zip_Log-MAP_Max_Log_MAP_log map_log map C语言_log_MAX
09-23
Log-MAP算法的核心在于计算信息位的后验概率，即在已知观测值的情况下，信息位取不同值的概率。这个概率可以通过信道转移概率和前向概率与后向概率的对数比得到。由于直接处理概率会导致数值溢出的问题，因此采用...
信息熵为什么要定义成-Σp*log(p)？
微赚淘客开发者博客
01-07 1113
信息熵为什么要定义成-Σp*log(p)？ 在解释信息熵之前，需要先来说说什么是信息量。 信息量是对信息的度量，单位一般用bit。 信息论之父克劳德·艾尔伍德·香农(Claude Elwood Shannon)对信息量的定义如下： 在解释这个公式之前，先看看下面的例子。 比如一个黑箱里有2个苹果，8个橙子我们把从黑箱里取苹果、橙子看成是一个随机过程，X={苹果,橙子}。 当我们了解...
信息论：熵与互信息
热门推荐
皮皮blog
11-25 9万+
熵/信息熵http://这篇文章主要讲：熵, 联合熵(joint entropy),条件熵(conditional entropy),相对熵(relative entropy,KL 距离),互信息(mutual information),交叉熵(cross entropy),困惑度(perplexity)。熵/信息熵在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里， 消息代表来自分布或数据流中的事件、样本或特征。
数据取对数的意义
AcceptedLin的博客
04-07 1万+
数据取对数的意义 平时在一些数据处理中，经常会把原始数据取对数后进一步处理。 之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 1. 缩小数据的绝对数值，方便计算。 例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。 2. 取对数后，可以将乘法计算转换称加法计算。 3. 某些情况下，在数据的整个值域中的在不同区间
在机器学习中应用数学方法
谢彦的技术博客
06-28 1030
我们从初中就开始学习指数和对数，但即使是程序员平时也很少用到这些方法。本篇就来看看如何使用它们解决具体问题。 指数 在多分类问题中，一般在最后一步使用Softmax，将数值转换成属于各个类别的概率，比如根据输入物品图片，通过一系列处理，判别它是衣服、鞋子、帽子各类别的概率。具体公式如下： 其中i为某一类别，j用于遍历所有可能的类别，Si计算的是某一类别的概率，即某一类别在所有类别中的占比。其中用到了自然指数e。e的图型如下： 首先，e指数是单调上升的，也就是说x越大y越大，变换之后的大小关系
对数函数log的物理含义
m0_67497308的博客
11-10 2229
对数函数log的物理含义
朴素贝叶斯理解
weixin_40137923的博客
05-18 367
朴素贝叶斯公式： 机器学习的视角理解： X：一些的特征。 Y：某类别。 P（Y|X）：X这些特征下属于Y类的概率。 垃圾邮件识别的场景，根据文本出现的特征然判断是否属于垃圾邮件。 我们知道句子的组成非常复杂，有无穷的可能性，不太好匹配。 使用分词工具对词语进行分词。然后使用朴素贝叶斯公式： 我们做一个假设：这些词语出现看成一个独立的事件。 S表示垃圾邮件。这些都是...
机器学习 逻辑斯蒂回归
默的博客
11-10 492
文章目录基本定义对数几率函数的引入对数几率函数的推导逻辑回归模型模型参数的估计 基本定义 二项逻辑斯蒂回归，简称逻辑回归，也被称为对数几率回归 是一种二分类模型 利用概率来研究类别与特征之间的关系，是一种非线性回归。 对数几率函数的引入 因为二分类任务的输出标记 y∈{0,1}y∈\{0,1\}y∈{0,1}，而线性回归的预测值 z=wTx+bz=w^Tx+bz=wTx+b 是实数值。 我们希望将实数值 z 转换为 0/1值，最理想的是单位跃阶函数： 又因为它并不连续，我们希望找到在一定程度上接近它的替代
求取信息商
09-28
【标题】"求取信息商"的MATLAB实现与理解 在信息理论中，信息商（Information Coefficient, IC）是一种衡量两个变量间关联程度的指标，尤其在金融数据分析和机器学习领域中广泛应用。信息商通常用于评估预测模型的...
log_normal：使0为对数正态模型的不对称性
02-16
标题中的“log_normal”指的是将数据通过对数转换后符合正态分布的情况。这个概念在Python编程语言中尤其有用，因为Python提供了强大的科学计算库，如NumPy、SciPy和Pandas，可以方便地进行这种类型的分析。 首先，...
Log-MAP 和 Max-Log MAP：Log-MAP 表示为“简化 MAP”。 Max-Log MAP 表示为“MAX MAP”。-matlab开发
05-30
- Log-MAP算法是最大后验概率（MAP）算法的一种简化形式，其核心思想是将概率计算转化为对数域中的运算，以减少计算复杂性。在对数域中，乘法转换为加法，这显著减少了浮点运算的数量，提高了计算效率。 - 在LDPC...
matlab开发-loglikelihood
08-24
对数似然函数是似然函数取对数后的形式，它简化了计算过程并有助于解决优化问题。 首先，我们需要理解似然函数的基本概念。在统计学中，似然函数表示给定一组观测数据时，参数的分布可能性。如果我们的数据是独立同...
对数几率回归 —— Logistic Regression
hellozhxy的博客
07-02 1万+
机器学习基础算法python代码实现可参考：zlxy9892/ml_code1 原理1.1 引入首先，在引入LR(Logistic Regression)模型之前，非常重要的一个概念是，该模型在设计之初是用来解决0/1二分类问题，虽然它的名字中有回归二字，但只是在其线性部分隐含地做了一个回归，最终目标还是以解决分类问题为主。为了较好地掌握 logistic regression 模型，有必要先了解...
uva1639_Candy_概率_取对数技巧
Sangria's Blog
08-07 393
 题意 两盒中各有n的糖果，每次以概率 p 取其中一只盒子的糖果，概率 1 - p 取另一只当打开一只盒子发现为空时另一只盒子中的糖果数的期望。 思路 考虑先发现0号盒子为空时的期望，取得过程为一个序列  x1 x2 x3 ... xt x(t + 1) x(t + 1) = 0,  x1...xt 为 01 得排列其中有 n 个0，i 个1（注意要考虑最后一次以p得概率打开0号盒子实际为...
【数学】分析log与熵的常见知识盲点
h
05-08 1546
介绍log与熵的常见知识盲点。重点在为什么使用log、最小化交叉熵损失
损失函数中为什么要用Log？
weixin_44230569的博客
04-30 1583
首先我们思考为什么要用softmax，假设我们不用softmax，模型最后的输出有可能是[-0.1, -0.1, 0.1](三分类)，也有可能是[10, 9.9,9.9],我们使用极大似然估计来分析，第二个输出的值大，它的置信度应该很高，但事实并非如此。我们分析似然函数，其值在0到1之间，而且越接近于1说明分类的效果越好，越接近于0说明分类的效果越差。,而负对数似然就不会有这个问题，只有存在单个样本真实概率为0的情况下，才会出现数值溢出的问题，也是半精度计算中经常出现的loss nan的问题。
概率处理的相关问题
浮生
01-19 360
为什么在处理概率问题的时候，都会使用log(p(x)), 而不是p(x)的这种操作。 主要有两个理由，(1) 在求最优解的过程中，如p(x)=e−x2p(x) = e^{-x^2}p(x)=e−x2. 其本身的梯度scale得非常不好，当ｘ稍微大时，其值接近于０，此时就会要求学习率接近于无穷大。而其log函数性质就非常好，使得非常容易找到合适的x的步长。(2) 在涉及到多个概率连乘时，多个p(x...
线性代数笔记：概率矩阵分解 Probabilistic Matrix Factorization （PMF）
qq_40206371的博客
10-13 1931
概率矩阵分解模型可以解决大规模、稀疏且不平衡的数据。 1 PMF的两点假设 1.1.观测噪声(观测评分矩阵和近似评分矩阵之差)服从高斯噪声的正态分布 观测评分矩阵是ground truth的矩阵，我们记为R；近似评分矩阵是通过矩阵分解的方法求得的矩阵 由这一条假设我们知道，R与之间的差距服从零均值的高斯分布，也即： 将移到右边去，有： · 而在矩阵分解问题里面，观测评分矩阵可以表示...
Pytorch中torch.autograd.Variable的用法
CSDN_of_ding的博客
12-05 1万+
简介 构建神经网络的计算图时，需用orch.autograd.Variable将Tensor包装起来，形成计算图中的节点。backward()自动计算出所有需要的梯度。来针对某个变量执行grad获得想要的梯度值。 1 Variable是torch.autograd中很重要的类。它用来包装Tensor，将Tensor转换为Variable之后，可以装载梯度信息。pytorch的一个重要特点就是动态计算图，计算图中每一个节点代表一个变量，变量间建立运算关系并且可以修改，而不像Tensorflow中的计算图是固定
对于动作维度为10维的连续动作空间，通过高斯分布对每一个动作求log_prob，然后再把10个动作相加还是取均值？
最新发布
07-17
对于动作维度为10维的连续动作空间，通过高斯分布对每一个动作求log_prob，可以得到每个动作的对数概率值。然后，你可以选择将这10个动作的对数概率值相加或者取均值，具体取决于你的应用需求和算法设计。 如果你对每个动作的对数概率值感兴趣，那么将这10个动作的对数概率值相加是一个合适的选择。这样可以得到一个总的对数概率值，可以用于计算策略梯度、策略熵等。在这种情况下，你可以使用以下公式来计算总的对数概率值： log_prob_total = log_prob_1 + log_prob_2 + ... + log_prob_10 其中，log_prob_i 表示第 i 个动作的对数概率值。 另一种选择是取这10个动作的对数概率值的均值。这样做可以得到一个平均的对数概率值，可以用于计算平均策略梯度或平均策略熵等。在这种情况下，你可以使用以下公式来计算平均的对数概率值： log_prob_average = (log_prob_1 + log_prob_2 + ... + log_prob_10) / 10 其中，log_prob_i 表示第 i 个动作的对数概率值。 具体选择相加还是取均值取决于你的应用需求和算法设计。在某些情况下，相加可能更适合用于策略梯度算法，而取均值可能更适合用于一些连续动作空间中的特定问题。 希望这个回答对你有帮助，如果还有其他问题，请随时提问！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值