联合熵、条件熵、互信息、相对熵、交叉熵的详解

最新推荐文章于 2023-12-17 18:16:04 发布
最新推荐文章于 2023-12-17 18:16:04 发布
阅读量6.2k 收藏 20
点赞数 5
分类专栏： 人工智能 文章标签： 熵 互信息 交叉熵 信息论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ding_programmer/article/details/90140643
版权

本篇博客，我们将介绍联合熵、条件熵、互信息、相对熵、交叉熵，如果对熵的概念还有不清楚的朋友，可以看一下这一篇博客，信息熵是什么呢？

https://blog.csdn.net/ding_programmer/article/details/89785319

联合熵

两个离散随机变量 X 和 Y 的联合概率分布函数为p(x,y) ，则联合熵 (Joint Entropy) 为：

 

H(X,Y)=- \sum_{x\in X}\ \sum_{y \in Y}\rm p(x,y)\mathrm{log}p(x,y)

联合熵实际上就是描述一对随机变量平均所需要的信息熵。

 

条件熵

条件熵 (Conditional Entropy)  H(Y|X) 表示在已知随机变量 X的条件下随机变量 Y 的不确定性。

 

H(Y|X)=\sum_{x\in X}\ \sum_{y\in Y}\rm p(x,y)logp(y|x)

条件熵和联合熵之间的关系 :

 

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)

 

互信息

两个离散随机变量 X和 Y 的互信息 (Mutual Information) 为：

I(X,Y)=H(X)+H(Y)-H(X,Y)    或者     I(X,Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

上述公式的推导可以从Vnn 图中看出来

比较有意思的是;

H(X)=H(X)-H(X|X)=I(X,X)

这就是为什么熵叫作自信息了 ，另一方面 说明了 两个完全相互依赖的变量之间的互信息并不是一个常量，而是取决于它们的熵。由此可见 互信息 其实是 度量两个随机变量之间的统计相关性。

 

相对熵

相对熵 (Relative Entropy) 也称 KL 距离，设  p(x),\ q(x) 是离散随机变量 X 的两个概率分布，则 p(x)对 q(x)  的相对熵是

D(p || q) =\sum_{x \in X}\rm p(x) log{\frac{p(x)}{q(x)}}

 

其中 \rm 0log(0/q)=0,\ plog(p/0)= \infty

 

交叉熵

交叉熵是用来衡量估计模型于真实概率分布之间差异情况的。如果一个随机变量 X\sim p(x),q(x)为用于近似p(x)的概率分布，那么 X 和模型 q(x)之间的交叉熵 (cross entropy) 可以定义为

 

H(X,q)=H(x)+D(p||q) = -\sum_x \rm p(x) logq(x)

可以看出 估计模型 q(x)  和 真实模型  p(x) 之间的差异 。

 

 

 

 

 

 

木禾DING
关注
  • 5
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
熵、联合熵、条件熵
qq_42148307的博客
06-14 3380
离散型随机变量的熵：熵是一个随机变量不确定性的度量，一个随机变量的熵越大，意味着不确定性越大，换言之，该随机变量包含的信息量越大。必然事件是确定无疑的，并不含有不确定性，所以必然事件的熵应该是0，也就是说，必然事件不含有信息量。离散型的二维随机变量(X,Y)的联合熵为：如果想要考虑两个随机变量组合一起的不确定性，得用到联合熵。并且：因此我们可以得到：。条件熵H(Y|X)表示在已知事件X的条件下，事件Y的不确定性，即X发生的前提下，Y发生的熵。随机变量X = [0.1;0.7;0.5;0.1]，随机变量Y =
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
热门推荐
xian0710830114的专栏
12-10 2万+
一、熵 对于离散型随机变量，当它服从均匀分布时，熵有极大值。取某一个值的概率为1，取其他所有值的概率为0时，熵有极小值（此时随机变量退化成确定的变量）。对于离散型随机变量，假设概率质量函数为p(x)，熵是如下多元函数 ： 伯努利分布的熵为： 对于连续型随机变量，假设概率密度函数为p(x)，熵（也称为微Differential Entropy分熵 ）定义为： 二、联合熵 联合熵（Joint Entropy）是熵对多维概...
熵
wuchengguo0671的博客
10-31 919
熵的定义 在信息论与概率统计中，熵是表示随机变量不确定性的度量。设 X 是一个取有限个值的离散随机变量，其概率分布为 则随机变量 X 的熵定义为 其中对数通常以 2 或者 e 为底，这时熵的单位分布成为比特或者纳特。由定义可知，熵只依赖 X 的分布，与其取值无关，所以也可以将 X 的熵记为 H（p）,即 熵越大，随机变量的不确定性就越大。 条件熵 设有随机变量 (X,Y),其联合概率分布为 ...
最大熵模型（Maximum Etropy）—— 熵，条件熵，联合熵，相对熵，互信息及其关系，最大熵模型。。...
weixin_30667649的博客
06-13 662
引入1：随机变量函数的分布 给定X的概率密度函数为fX(x), 若Y = aX, a是某正实数，求Y得概率密度函数fY(y). 解：令X的累积概率为FX(x), Y的累积概率为FY(y). 则FY(y) = P(Y <= y) = P(aX <= y) = P(X <= y/a) =FX(y/a), 则 fY(y) = d(FX(y/a)) / dy = 1...
联合熵：计算一组变量的联合熵。-matlab开发
05-30
JointEntropy：返回 'X' 每一列的联合熵（以位为单位） 注意：每个不同的值都被视为一个唯一的符号。 H = 联合熵（X） H = 计算的联合熵（以位为单位） X = 要分析的数据
概率论 | 联合熵、条件熵、互信息之间的表示、关系及大小
日拱一卒，功不唐捐
10-20 1728
联合熵、条件熵、互信息之间的关系及大小
计算X与Y的熵、联合熵、条件熵
11-24
C++代码： 离散二维随机变换熵的计算 （1）利用random函数和归一化方法构造一个二维离散随机变量（X，Y）； （2）分别计算X与Y的熵、联合熵、条件熵：H（X）、 H（Y）、H（X,Y）H（X|Y）、I（X|Y）；
互信息 Renyi熵 条件熵 matlab代码 linux
09-10
matlab代码，包含功能：计算互信息、香农熵、Renyi熵、条件熵、加权熵、加权互信息等。用法举例： >> y = [1 1 1 0 0]'; >> x = [1 0 1 1 0]'; >> mi(x,y) %% mutual information I(X;Y) >> h(x) %% entropy H(X) >>...
计算离散随机变量的熵、联合熵、条件熵、互信息的Matlab程序与项目分析
03-12
### 计算离散随机变量的熵、联合熵、条件熵、互信息的Matlab程序与项目分析 #### 一、基础知识概述 在信息论中，熵被定义为信息源不确定性的一种度量。对于离散随机变量而言，熵、联合熵、条件熵以及互信息都是...
信息熵的C语言实现
04-14
在信息论中，熵是一个衡量...总之，熵、相对熵和互信息是信息论中的核心概念，它们在各种数据处理和通信场景中都有广泛的应用。通过C语言实现这些算法，可以加深对这些概念的理解，并且能够将其应用于实际编程任务中。
matlab求两幅图像的联合熵
02-14
该m文件是求两幅图像联合熵的函数代码，简洁明了易懂！
C++编写条件熵、信源熵、联合熵、交互熵
12-04
用C++编写的简单熵值计算，包括信源熵，条件熵，交互熵等
第3讲-条件熵、联合熵及熵的性质.pdf
04-13
信息论条件熵、联合熵及熵的性质课件 信息论条件熵、联合熵及熵的性质课件 信息论条件熵、联合熵及熵的性质课件 信息论条件熵、联合熵及熵的性质课件
详解熵、最大熵、联合熵和条件熵、相对熵以及互信息之间的关系
随遇而安_小强的博客
07-03 1万+
信息量的定义 某事件发生的概率小，则该事件的信息量大。 定义随机变量XXX的概率分布为P(X)P(X)P\left( X \right),XXX的信息量为：h(X)=−log2P(X)h(X)=−log2P(X)h\left( X \right) = - {\log _2}P\left( X \right). 熵 对随机事件按的信息量求期望，得到随机变量XXX的熵： H(X)=−∑...
熵，交叉熵，互信息
woshiliulei0的专栏
07-26 473
一，熵(信息熵) 1.定义 信息熵描述的是对随机变量不确定性的度量，不确定性越大，信息熵值就越大。 2.公式 Lθ(x)=−p(x)log(p(x))L_\theta(x) =- p(x)log(p(x))Lθ​(x)=−p(x)log(p(x)) 二，交叉熵 2.公式 Lθ(x)=−p(x)log(q(x))L_\theta(x) =-p(x)log(q(x))Lθ​(x)=−p(x)log(q...
联合熵与条件熵：信息理论中的重要概念
最新发布
m0_70886513的博客
12-17 354
联合熵和条件熵是信息理论中的重要概念，用于描述随机变量之间的关系和信息的传递特性。通过计算联合熵和条件熵，我们可以了解随机变量之间的不确定性和相关性。在信息论和通信领域，联合熵和条件熵的应用可以帮助设计高效的编码、解码和压缩算法，提高信息传输的效率和可靠性。联合熵和条件熵是信息论中的两个基本概念，用于描述多个随机变量之间的关系和信息传递的特征。本文将介绍联合熵和条件熵的定义与计算方法，并解释它们在信息论和通信领域的应用。其中，P(y|x)是在X取值为x的条件下，Y取值为y的概率。计算结果即为条件熵的值。
信息论知识：互信息、交叉熵、KL散度
简单快乐
07-05 5524
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。消息说：‘‘今天早上太阳升起’’ 信息量是如此之少以至于没有必要发送，但一条消息说：‘‘今天早上有日食’’ 信息量就很丰富。 我们想要通过这种基本想法来量化信息。定义三个性质 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。 较不可能发生的事件具有更高的信息量。 ...
熵、交叉熵、条件熵、互信息
Hello Word!
05-27 449
关于softmax和交叉熵：probability，odds，logit, softmax, logSoftmax，交叉熵 熵： 随机事件X有n种可能发生的情况，每种情况发生的概率为pip_ipi​ H(X)=−∑i=1npilog(pi)H(X)=-\sum_{i=1}^{n} p_ilog(p_i)H(X)=−i=1∑n​pi​log(pi​) 交叉熵： 度量两个概率分布p、q之间的差异，yiy_iyi​服从q分布，pip_ipi​服从p分布 Ci=−∑j=1Cyjlog(pj)C_i = -\sum
信息熵、交叉熵、互信熵
05-13
信息熵、交叉熵和互信息熵都是信息论中常用的概念，它们都是用来度量信息的不确定性和随机性的。 信息熵是用来度量一个随机变量的不确定性，它的定义为：$H(X)=-\sum_{i=1}^{n}p(x_i)\log_2p(x_i)$，其中 $p(x_i)$ 表示随机变量 $X$ 取值为 $x_i$ 的概率，$n$ 表示 $X$ 的取值个数。信息熵的单位是比特（bit）或纳特（nat）。 交叉熵是用来比较两个概率分布之间的差异，它的定义为：$H(p,q)=-\sum_{i=1}^{n}p(x_i)\log_2q(x_i)$，其中 $p$ 和 $q$ 分别表示两个概率分布，$n$ 表示分布的取值个数。交叉熵可以用来衡量一个模型的预测值与真实值之间的差异。 互信息熵是用来度量两个随机变量之间的相关性，它的定义为：$I(X;Y)=\sum_{x\in X}\sum_{y\in Y}p(x,y)\log_2\frac{p(x,y)}{p(x)p(y)}$，其中 $p(x,y)$ 表示 $X$ 和 $Y$ 同时取值为 $x$ 和 $y$ 的概率，$p(x)$ 和 $p(y)$ 分别表示 $X$ 和 $Y$ 分别取值为 $x$ 和 $y$ 的概率。互信息熵可以用来衡量两个随机变量之间的相关性，当互信息熵为正时，表示两个变量之间存在相关性，当互信息熵为零时，表示两个变量之间不存在相关性。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值