KL散度学习笔记

最新推荐文章于 2024-06-16 10:45:52 发布
最新推荐文章于 2024-06-16 10:45:52 发布
阅读量209 收藏
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012085234/article/details/112500236
版权

这是一个啰嗦鬼写的啰嗦笔记，仅用来备份而已。

  • 信息熵

参考：https://baike.baidu.com/item/%E9%A6%99%E5%86%9C%E7%86%B5/1649961?fr=aladdin

一条信息的信息量大小和它的不确定性有直接的关系。

比如说，我们要搞清楚一件非常不确定的事，或是一无所知的事情，需要了解大量的信息。相反，如果对某件事已经有了较多的了解，则不需要太多的信息就能把它搞清楚。所以，从这个角度，可以认为，信息量的度量就等于不确定性的多少。

对于任意一个随机变量 X，它的熵定义如下：变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

解释：

  • Kullback-Leibler散度（相对熵）

参考：https://baike.baidu.com/item/%E7%9B%B8%E5%AF%B9%E7%86%B5/4233536?fromtitle=KL%E6%95%A3%E5%BA%A6&fromid=23238109&fr=aladdin

 

 

 

红太狼陛下
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
KL散度
caohao2008的专栏
10-27 1万+
KL散度，又称KL距离。 详情请见：http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence 下面是转载内容： =========================== KL-divergence，俗称KL距离，常用来衡量两个概率分布的距离。 根据shannon的信息论，给定一个字符集的概率分布，我们可以设计一
浅谈KL散度
weixin_33774615的博客
10-26 527
一、第一种理解　　 　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 　　KL散度是两个概率分布P和Q差别的非对称性的度量。       KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比...
KL散度（Kullback-Leibler divergence）
最新发布
幼儿园大哥~
06-16 1172
散度用于量化使用一个概率分布来近似另一个概率分布时损失的信息量。散度是基于信息论的概念，而信息的传递方向是有区别的。散度不是真正的距离度量，而是一种相对信息的度量。L散度不满足三角不等式，即。散度始终大于等于零，即。与凸函数的关系：如果。
扩散概率模型论文学习笔记(非常详细)
04-25
### 扩散概率模型论文学习笔记 #### 一、概率论相关 在研究扩散概率模型时，概率论的基础知识尤其重要。本节将详细介绍条件概率的一般形式以及基于马尔科夫假设的条件概率。 ##### 条件概率的一般形式 条件概率...
机器学习中各种熵总结
08-06
机器学习中各种熵的总结笔记，包括对应公式及详细解释说明。
机器学习算法笔记
11-21
本文总结博客中关于机器学习十大算法的详细过程，进行汇总，包括广义线性模型、softmax 回归 、逻辑回归、梯度下降法、Logistic 回归与牛顿迭代法、两种梯度下降法、相对熵（KL 散度）、K-Means 聚类算法 、朴素...
EM算法学习笔记
07-01
### EM算法学习笔记 #### 一、预备知识 在深入探讨EM算法之前，我们需要了解一些必要的数学工具，包括拉格朗日乘法、贝叶斯公式、高斯分布以及相对熵。 **1. 拉格朗日乘法** 考虑在约束条件下找多元函数的极值...
一份简短的深度学习数学笔记.pdf
08-17
- Kullback-Leibler散度（KL Divergence）：DKL(P∥Q)衡量两个概率分布P和Q的差异。 5. 数据集与分布： - pdata是数据生成的分布，而ˆpdata是基于训练集的经验分布。 - 训练样本集X包含了输入x(i)和对应的标注y...
衡量两个概率分布的距离（KL散度、JS距离）评价两个变量的相似度MALTAB代码
05-15
衡量两个概率分布P(x);Q(x) 的距离 包括 Kullback–Leibler divergence和Jensen–Shannon divergence
KL散度(Kullback–Leibler divergence)
deye1979的专栏
05-24 233
KL散度是度量两个分布之间差异的函数。在各种变分方法中，都有它的身影。 转自：https://zhuanlan.zhihu.com/p/22464760 一维高斯分布的KL散度 多维高斯分布的KL散度： KL散度公式为： 转载于:https://www.cnblogs.com/huangshiyu13/p/6898212.html...
KL散度（KL divergence）
m0_37805255的博客
07-28 5011
KL散度（KL divergence） 相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。 KL散度是两个概率分布P和Q差别的非对称性的度量，用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典...
KL散度(Divergence)
芒果干的博客
10-02 1221
一、信息量 首先我们要懂信息量的概念，任何一个事件都会承载一个信息量。当一件事情发生的概率很高时，他承载的信息量就越少，例如“1+1=2”这个事情我们是已知的，所以当别人告诉我们这件事时我们不能获取任何信息，即信息量为0，但是”中国足球世界杯夺冠”这件事给我们的信息量是巨大的，我们将离散型随机变量XXX包含的信息量如下表示： 设XXX是一个离散型随机变量，概率分布P=p(X=xi)P=p(X=x_i)P=p(X=xi​)，则定义事件X=xiX=x_iX=xi​的信息量为：I(xi)=−log(p(xi))I
KL散度python
09-14
KL散度（Kullback-Leibler divergence），也称为相对熵，是一种用于度量两个概率分布之间差异的指标。在Python中，可以使用SciPy库来计算KL散度。 下面是一个示例代码，演示如何使用SciPy计算两个概率分布之间的KL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值