hbkybkzw的博客

一个离散随机变量XXX的可能取值为X=x1,x2,...,xnX=x_1,x_2,...,x_nX=x1​,x2​,...,xn​，而对应的概率为pi=p(X=xi)p_i=p(X=x_i)pi​=p(X=xi​),如下在信息论中，某个信息 xix_ixi​ 出现的不确定性的大小定义为 xix_ixi​ 所携带的信息量，用 I(xi)I(x_i)I(xi​) 表示。I(xi)I(x_i)I(xi​) 与信息 xix_ixi​ 出现的概率 p(xi)p(x_i)p(xi​) 之间的关系为I(xi)=log⁡

JS三度非负，JS散度越大，两个概率分布之间的差异越大。当且仅当两个概率分布相同时，JS散度等于0。

若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0。正是因为其可以衡量两个分布之间的差异，所以在VAE、EM、GAN中均有使用到KL散度。在统计学意义上来说，KL散度可以用来。KL散度或相对熵可通过下式得出。

从条件熵中我们知道，当获取的信息和要研究的食物”有关系时“，这些信息才能帮助我们消除不确定性。如何衡量获取信息和要研究事物“有关系”呢？比如常识告诉我们，一个随机事件“今天深圳下雨”和另一个随机事件“过去24小时深圳空气湿度”相关性很大，但是相关性到底有多大？怎么衡量？再比如“过去24小时深圳空气湿度”似乎就和“北京天气”相关性不大。香农在信息论中提出”互信息“的概念作为两个随机事件“相关性”的量化度量IXYHX−HX∣YHY−HY∣XHXHY−HXY。

若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0。正是因为其可以衡量两个分布之间的差异，所以在VAE、EM、GAN中均有使用到KL散度。在统计学意义上来说，KL散度可以用来。KL散度或相对熵可通过下式得出。

针对离散变量x的概率分布pxp(x)pxqxq(x)qxx1x_1x1​x2x_2x2​x3x_3x3​x4x_4x4​xnx_nxn​p(x1x_1x1​p(x2x_2x2​p(x3x_3x3​p(x4x_4x4​p(xnx_nxn​q(x1x_1x1​q(x2x_2x2​q(x3x_3x3​q(x4x_4x4​q(x5x_5x5​其交叉熵HPQ∑i1np。

联合熵（Joint Entropy）是熵对多维概率分布的推广，它描述了一组随机变量的不确定性。对于连续型随机向量（X，Y），假设联合概率密度函数为p(x,y)，其联合熵为二重积分。

且在考虑上下文的情况下，每个汉字的信息熵只有5bit左右，即50万字携带250万比特的信息，采用较好的算法压缩，整本书可以存成一个320k的文件，若直接用两字节的国标编码存储这本书，大约需要1MB大小，是压缩文件的3倍，这两个数据量的差异在信息论中叫冗余度，且250万比特在这只是一个平均数，同样两本50万字的书，所含的信息量可以相差很多。则在上面的例子中，这条信息量是5比特，信息量的比特数和所有可能情况的对数函数有关。有一本50万字的书，假设每个字出现的概率相同，那么每个字携带的信息量是。