KL divergence

最新推荐文章于 2025-05-11 06:27:19 发布
最新推荐文章于 2025-05-11 06:27:19 发布
阅读量398 收藏
点赞数
文章标签： 人工智能
原文链接：http://www.cnblogs.com/huangshiyu13/p/10766223.html
版权

Kullback-Leibler divergence

 

形式：

{\displaystyle D_{\text{KL}}(P\parallel Q)=\sum _{x\in {\mathcal {X}}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right).}

{\displaystyle D_{\text{KL}}(P\parallel Q)=\int _{-\infty }^{\infty }p(x)\log \left({\frac {p(x)}{q(x)}}\right)\,dx}

性质：

非负

P=Q时，D[P||Q]=0

不对称性：D(P||Q)≠D(Q||P)

 

自信息：符合分布 P 的某一事件 x 出现，传达这条信息所需的最少信息长度为自信息，表达为

熵：从分布 P 中随机抽选一个事件，传达这条信息所需的最优平均信息长度为香农熵，表达为

交叉熵：用分布 P 的最佳信息传递方式来传达分布 Q 中随机抽选的一个事件，所需的平均信息长度为交叉熵，表达为

KL 散度：用分布 P 的最佳信息传递方式来传达分布 Q，比用分布 Q 自己的最佳信息传递方式来传达分布 Q，平均多耗费的信息长度为 KL 散度，表达为 D_p(Q) 或 D_KL(Q||P)，KL 散度衡量了两个分布之间的差异。

KL散度的前一项是选择项，它会对两个分布的差异性进行选择

 

当一个分布很复杂，如上图的P(Z)，我们用一个简单的分布如高斯分布Q(Z)去拟合的时候，我们更愿意把Q放在前面，这样至少能拟合P中的一部分。

 

 

VAE推导：可以看出，从原始的基于最大化数据分布的直观理解进行推导（第一行）和直接写出ELBO（最后一行）的结果是一样的（第七行）。但直接写成ELBO的形式，在优化上并不直观，但写成第七行的形式，通过设计encoder和decoder网络，可以比较直接地进行优化。VAE可以说是一个variational inference和deep learning一个非常巧妙的结合。除了VAE，我印象里理论和实践结合的比较好的就是LDA了。

 

转载于:https://www.cnblogs.com/huangshiyu13/p/10766223.html

deye1979
关注
TensorFlow KLDivergence loss为负
Hope^_^
02-17 1470
把 kl_compute = tf.keras.losses.KLDivergence(reduction=losses_utils.ReductionV2.NONE, name='kullback_leibler_divergence') loss = tf.reduce_mean(kl_compute(labels, tf.nn.softmax(logits))) 改为 kl
pytorch 的KL divergence的实现
Hope^_^
05-16 9355
import torch.nn.functional as F # p_logit: [batch,dim0] # q_logit: [batch,dim0] def kl_categorical(p_logit, q_logit): p = F.softmax(p_logit, dim=-1) _kl = torch.sum(p * (F.log_softmax(p_logit...
统计分布的距离/相似性计算
Hello World
11-25 1万+
统计分布的距离/相似性计算 KL散度（Kullback-Leible divergence） KL散度可以用于描述两个分布之间的距离，假设p(x)p(x)p(x)与q(x)q(x)q(x)是随机变量X的分布，则它们的KL散度为 D(p∣∣q)=∫−∞+∞p(x)logp(x)q(x)dxD(p||q) = \int_{ - \infty }^{ + \infty } {p(x)log\frac...
信息论基础学习笔记（2）
前輩的後生的博客
10-01 1033
信息论基础 学习笔记（2） 基础概念间的不等式关系 信息不等式： D(p∣∣q)≥0D(p||q)\ge 0D(p∣∣q)≥0 互信息的非负性： I(X;Y)≥0I(X;Y)\ge 0I(X;Y)≥0 熵的极值： Hp(X)≤Hu(X)=log⁡∣χ∣H_p(X)\le H_u(X)=\log |\chi|Hp​(X)≤Hu​(X)=log∣χ∣ 条件减少熵： H(X∣Y)≤H(X)H(X|Y)...
机器学习小知识：相对熵
yangkuiwu的博客
04-25 1100
相对熵又称互熵、交叉熵、KL散度、信息增益，是描述两个概率分布P和Q差异的一种方法，记为D(P||Q)。在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。（P,Q越相似，相对熵越小） 老羊快跑微信公众号、钉钉分享交流群如下。 ...
ELBO 与 KL散度
weixin_30525825的博客
01-13 1373
浅谈KL散度 一、第一种理解　　 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 　　KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的编码来编码来自P的样本平...
EM算法总结：从 ELBO + KL散度出发
qq_43753525的博客
12-07 1804
一、概述 假设有如下数据： X : observed data Z : latent variable (X,Z) : complete data θ\thetaθ : parameter EM算法的目的是解决解决带有隐变量的参数估计问题(MLE,MAP)，从 ELBO + KL 散度角度来看，EM算法主要是迭代以下两个步骤： 二、收敛性证明 以下两个定理能够保证EM算法的收敛性： 这里主要证明一下定理9.1： 三、算法的导出 这里主要从 ELBO + KL散度的角度进行EM算法
kl divergence matlab,直观理解-信息熵&KL Divergence
weixin_42347346的博客
03-19 630
信息熵简介任何信息都存在冗余，冗余大小与信息中每个符号的出现概率或者说不确定性有关。信息熵用于解决对信息的量化度量问题，描述信源的不确定度。香农第一次用数学语言阐明了概率与信息冗余度的关系。基本内容通常一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量，概率大，出现的机会多，不确定性小；反之不确定性大。不确定函数f应该1、满足概率P的减函数。2、两个独立符号所产生的不确定性应该等于...
KL Divergence
Klay Ye
04-28 619
参考文章：KL散度(Kullback-Leibler Divergence)介绍及详细公式推导 KL散度简介 KL散度的概念来源于概率论和信息论中。KL散度又被称为：相对熵、互熵、鉴别信息、Kullback熵、Kullback-Leible散度(即KL散度的简写)。在机器学习、深度学习领域中，KL散度被广泛运用于变分自编码器中(Variational AutoEncoder,简称VAE)、EM算法...
pytorch中的kl divergence计算问题
wwyy2018的博客
09-28 2万+
偶然从pytorch讨论论坛中看到的一个问题，KL divergence different results from tf，kl divergence 在TensorFlow中和pytorch中计算结果不同，平时没有注意到，记录下 kl divergence 介绍 KL散度( Kullback–Leibler divergence)，又称相对熵，是描述两个概率分布 P 和 Q 差异的一种方法。计...
一文懂KL散度KL Divergence
liveshow021_jxb的博客
04-08 745
KL散度中的KL全称是Kullback-Leibler，分别表示Solomon Kullback和Richard A.Leibler这两个人。表明概率分布Q和概率分布P之间的相似性，由交叉熵减去熵得到。
机器学习中的KL Divergence
workerwu的专栏
02-04 7525
原文出处：https://dibyaghosh.com/blog/probability/kldivergence.html 参考源：https://www.countbayesie.com/blog/2017/5/9/kullback-leibler-divergence-explained -----监督学习和强化学习这种方法的目标都是为了最小化KL差异 这篇文章将从增强学习和机器学习的...
python 3计算KL散度（KL Divergence）
热门推荐
hfut_jf的专栏
05-08 3万+
KL DivergenceKL（ Kullback–Leibler） Divergence中文译作KL散度，从信息论角度来讲，这个指标就是信息增益（Information Gain）或相对熵（Relative Entropy），用于衡量一个分布相对于另一个分布的差异性，注意，这个指标不能用作距离衡量，因为该指标不具有对称性，即两个分布PP和QQ，DKL(P|Q)D_{KL}(P|Q)与DKL(Q|P
Variational RL for POMDP
deye1979的专栏
04-08 365
1.Le, Tuan Anh, et al. "Auto-encoding sequential monte carlo."arXiv preprint arXiv:1705.10306(2017). 转载于:https://www.cnblogs.com/huangshiyu13/p/10670952.html
elbo和kl散度
qq_33314743的博客
03-10 970
kl散度https://www.cnblogs.com/hxsyl/p/4910218.html 一、第一种理解　　 　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 　　KL散度是两个概率分布P和Q...
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 834
【代码】基于对应点分类的对象识别 报错。
第二十一天打卡
最新发布
nbbsn的博客
05-11 181
这个结果略微差于聚类后的效果，但和一开始考虑所有特征的预测效果差不多，这个降维算法也比较成功。首先我们要对训练集和测试集进行处理，将非数字部分进行编码，并且将空缺值进行填充。- 输出每个模型的最佳参数和评估指标（准确率、精确率、召回率和F1分数）- 对每个模型分别使用网格搜索和贝叶斯优化进行超参数调优。这里可以看出预测结果大大提高了，这个调整工程是成功的。- 使用三个典型模型：随机森林、支持向量机和逻辑回归。- 在验证集上评估每个模型的性能。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 929
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
Qwen3 混合思维模版解读
qq128252的博客
05-07 1204
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
KL divergence loss
03-08
### KL 散度作为损失函数 在机器学习中，KL散度可以作为一种有效的损失函数来评估预测的概率分布与真实标签之间的差异。具体来说，在训练过程中，模型试图最小化由KL散度定义的距离，从而使得预测的结果尽可能接近实际的数据分布。 对于二元分类或多类分类问题而言，当目标变量遵循某种已知的概率分布时，可以通过优化KL散度来调整参数，进而提高模型性能。值得注意的是，尽管KL散度本身不是严格意义上的对称距离指标，但在很多应用场景下仍然能够很好地发挥作用[^1]。 #### 计算方法 给定两个离散型随机变量\(P\)和\(Q\)分别代表真实的类别分布以及模型输出的估计分布，则它们之间KL散度可按照如下方式计算： \[D_{\mathrm{KL}}(P \parallel Q)=\sum _i P(i)\log {\frac {P(i)}{Q(i)}}.\] 这里需要注意的是，如果某些情况下存在零概率项的话，可能会导致上述表达式的分母变为0；因此实践中通常会对原始公式做一些修改以避免这种情况的发生，比如加入平滑因子或将所有可能出现的状态都考虑进去[^4]。 ```python import numpy as np def kl_divergence_loss(y_true, y_pred): """ Calculate Kullback-Leibler divergence between true and predicted distributions. Parameters: y_true (array-like): True probability distribution. y_pred (array-like): Predicted probability distribution. Returns: float: Value of KL Divergence Loss. """ epsilon = 1e-10 # Small constant to prevent division by zero y_true = np.clip(y_true, epsilon, None) y_pred = np.clip(y_pred, epsilon, None) return np.sum(y_true * np.log(y_true / y_pred)) ``` 此代码片段展示了如何实现一个简单的KL散度损失函数，其中包含了防止数值不稳定性的措施——通过`np.clip()`函数确保输入不会包含过小或负数的值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值