关于互信息的一些注记（python）

最新推荐文章于 2024-08-08 05:07:55 发布
最新推荐文章于 2024-08-08 05:07:55 发布
阅读量685 收藏 1
点赞数
原文链接：https://www.douban.com/note/621588501/
版权

可以确认是这样：

更复杂的 labels_2 的熵确实变大了。但联合熵也同步变大，求差之后对消，于是交集部分的互信息毫无差异。用图来看会更明确。

这张丑丑的图是我自己弄的

意味着什么呢，I(A,B)和I(A,C)的互信息量虽然相当，但H(B)<H©, 原有的指标H(A) 对标签集 C 而言，表达能力不足了，但也不是完全无效，依然有一定信息，从绝对信息量来说，还可以保持相当。比如[1,1,0,0,0] 作为指标区分不了[a,b,c,d,e] ，只能分开[a,b] 和 [c,d,e] ，和分开上一组标签中的[a] 和 [s] 是一样的。互信息虽然反映了指标（对于标签）的绝对表达能力（通过信息量来度量），但没有反映出指标集相对于标签集整体表达能力的真实减弱。此处我为了暴露互信息的缺陷，故意选择的labels_2 相对于labels_1 是一个更细化的标签集，花一些功夫可以证明，标签或指标的任何细化都无法被互信息基于绝对信息量的度量方式描述出来，一个可以记住的tip是：细化标签（或信号，它们是对称的）不会改变互信息的绝对值。

总结：重点是互信息提供的是指标和标签之间的绝对信息量，而这在实践中随指标集和标签集的自身规模变化而变化，并不真实反映指标集相对于标签集整体的表达能力，要在实际数据中使用互信息挑选指标就很容易进坑了，难怪这个指标表现得时好时坏，并不稳定。

那怎么让互信息能精确反映出这些变化呢？答案也很显然了，需要针对 H(A) 和 H(B) 的整体大小标准化，以消除H(A)和 H(B) 大小的影响，这就是标准化互信息（Normalized Mutual Information, 或 NMI）的思路。比如当 I(A,B) 只是H(A)或H(B)中很小的一部分，标准化后得到的低比例就能反映出指标表达能力的缺陷。

从上面的图示可以直观看出，当 H(A) = H(B) 时 (A,B两个圆重合)，I(A,B) = H(A) = H(B) = H(A,B), 此时 I(A,B)最大，I(A,B) 最大时也就是占满 A或 B的时候，因为对称性，必须同时占满。 这可以召唤起我们对均值不等式在a等于 b 时取极值的回忆。这事实上揭示了normalized mutual information 的公式：

式(1)使用几何平均描述 H(A)和H(B)的规模，式(2)使用算术平均。

是的，这两个都是有效的 NMI 的公式，并且都在[0, 1]闭区间内取值，0代表两组变量完全无关，1代表完全相关。两个公式只是采用算术平均和几何平均的差异。说到均值，均值在统计中，简直是“被嫌弃的均值”，因为它无法反应分布整体情况且容易被极值影响，在描述统计量时避免用均值改用分位数已是常识。但在数学上，均值的重要意义和均值不等式密切相关，当遇到需要相等时取极值的情况，此处就往往隐藏了均值的身影。

下面来验算一下我们的公式，看看是否有效。

MI_1 和 MI_2 无法区分， NMI_1 == 1 代表此时信号能完全描述标签，NMI_2 < 1 代表信号不足。

一例胜千言，由上可见，NMI 确实是一个比 MI 鉴别能力更强的指标，对之前MI 无法区分的情况也给出了有效度量，我们这里的计算采用几何平均的版本，和 sklearn 保持了一致，还可以用 sklearn 对NMI的现成实现来验算一下：

没错，和我们的计算结果一致。

之前说到过，熵有单位，并基于所用的对数底的不同而不同，以2为底时，一个公平的硬币（两面概率相等）的熵正好是1，代表用1个2进制比特正好可以描述硬币的信息量（正或反），但用自然对数为底并不影响我们对信息量的度量，只是比特的单位变了（于是值有所不同）。从互信息的公式 I(A,B) = H(A)+H(B)-H(A,B) 可以看出互信息的单位也是比特。但normalized 后的标准化互信息（NMI）其实是没有单位的一个比率（分子和分母的单位消掉了，和物理公式一样），因为没有单位，所以感兴趣的读者可以验算一下，不管 entropy 实现时用什么为底，最终的 NMI 值是一样的。

补充一下，sklearn.metrics 中虽然就有 normalized_mutual_info_score 的现成函数，但实际工作场景中如果数据量大的话，往往自己从 H(A), H(B) 和 H(A,B) 计算会更有效率，这个效率不是因为 sklearn 的实现低效，而是你为了满足其输入参数，构造一个个指标序列和标签序列是开销非常大的对象构建过程，建议尽量避免。

最后，在遇到那些建议使用互信息来度量变量相关性却对标准化互信息不置一词的书或文章时，要小心其余的部分，明显这样的作者并没有充分研究过他所谈论的对象。

    <div class="mod-tags">
            <a href="https://www.douban.com/note/tags/%E6%9C%AF?people=NullPointer&amp;all=1" target="_blank">术</a>
            <a href="https://www.douban.com/note/tags/%E9%87%8D?people=NullPointer&amp;all=1" target="_blank">重</a>
    </div>

            <div id="link-report_note">
            <div class="report"><a rel="nofollow" href="javascript:void(0)">举报</a></div></div>

© 本文版权归 NullPointer 所有，任何形式转载请联系作者。

© 了解版权计划

    </div>
</div>
潘达酱豆是沃
关注
NMI 标准化互信息 python实现
03-14
对于NMI计算的python实现
Python 计算 Mutual Information
Kp0fS的草稿纸
04-14 1592
from sklearn.metrics import mutual_info_score for i in range(num): x = self.NeuronSig[i, begin:end] for j in range(i, num): y = self.NeuronSig[j, begin:end] #计算两个神经元之间的Mutual Information corr, _ = mutual_info_score(x, y) ..
互信息 python
最新发布
weixin_41268324的博客
08-08 63
使用 Python 计算互信息：新手指南 互信息（Mutual Information）是信息论中的一个重要概念，用于量化两个随机变量之间的依赖关系。在数据科学和机器学习中，互信息可以用来评估变量之间的相关性，是特征选择的一个有效工具。本篇文章将带你一步一步实现互信息的计算。 流程概述 在开始之前，我们可以把实现互信息的步...
Python注释
V的博客
05-18 1388
python中单行注释采用 # 开头。
python注释
qq_42869874的博客
02-26 125
（1）单行注释：# （2）多行注释：’’’ ‘’’，这个其实是字符串，只不过没有赋值给任何变量。 （3）中文编码声明注释（python3中已经不用声明了）：在文件开头的中文声明注释，用以指定源码文件的编码格式。 # coding:utf-8 ...
Python实现互信息计算，并基于互信息实现图像配准
linyiheng666的博客
10-22 1362
计算两幅图像的互信息，并验证基于互信息的图像配准方法
标准化互信息的python实现（sklearn）
热门推荐
MaloFleur
05-27 2万+
标准化互信息（normalized Mutual Information, NMI）用于度量聚类结果的相似程度，是community detection的重要指标之一，其取值范围在[0 1]之间，值越大表示聚类结果越相近，且对于[1, 1, 1, 2] 和 [2, 2, 2, 1]的结果判断为相同 其论文可参见Effect of size heterogeneity on community id...
关于解析函数的一些注记 (2007年)
05-15
设h（r，s，t）为定义在D C3上的复函数，通过限定h（r，s，t）的条件定义了函数类Hn（a），并利用其得到判断具有负实部函数的定理，给出其在微分方程方面的应用。
关于容斥原理的一些注记 (1985年)
05-29
在1985年四川大学学报发表的论文《关于容斥原理的一些注记》中，作者万大庆提供了一个新的证明方法，并扩展了广容斥原理以及Bonferroni不等式，最终给出了一个渐近公式，用于计算广menage数和一些更一般的数列的渐近...
关于Tor-倾斜模的一些注记
12-29
关于Tor-倾斜模的一些注记，张小向，，设R为一个有单位元的结合环. 一个右R-模U称为Tor-倾斜的意思是指由$U^+$余生成的左R-模类=$U^{top}$, 其中$U^+$表示的示性模, $U^{top}$ = KerTor$^R
MutualInformation:共同信息码
05-09
相互信息 这在Python中提供了互信息（mi）功能。 目前，这提供了由描述的张量之间的mi common_information.py 它以两个numpy数组文件作为命令行输入，并在Mutual_information-k * .dat中输出相互信息。 numpy数组文件应具有相同数量的实例，即，相同的第一索引大小。 这些实例可以是张量。 用法： import mutual_information as mi import numpy as np X = np . load ( '<numpy>' ) # X.size = (N,...) Y = np . load ( '<numpy>' ) # Y.size = (N,...) I = mi . pyMIestimator ( X , Y ) #default k = 5,
关于T∞-测度的一些注记 (2009年)
05-13
根据三角模的基本概念,结合文献资料,指出了T∞-测度性质证明中的两处小错误,给出反例。在问题1中将模糊集BT∞E修正为BT0E,在问题2中将模糊集ET∞A修正为AT∞(ES∞Ac)。最后,对正确结论进行了证明。
python3读取cad.docx
02-02
下面是 Python 读取 CAD 文件的一些重要函数： 1. getDescription_Measurement_TextPositions() 函数：该函数用于读取实测图的尺寸标注的属性、尺寸和尺寸位置。 2. getMeasurement_TextPositions() 函数：该函数...
一文讲透Python机器学习特征选择之互信息法
m0_72274883的博客
11-28 2690
互信息量度的是特征变量X和响应变量y共享的信息，或者说知道这两个变量其中的一个，对另一个不确定度减少的程度。因此，如果特征变量X和响应变量y相互独立，则知道特征变量X将不对响应变量y提供任何信息，反之亦然，此时特征变量X和响应变量y的互信息为零。而如果特征变量X是响应变量y的确定性函数，响应变量y也是特征变量X的确定性函数，比如y=aX+B，那么此时传递的所有信息都被特征变量X和响应变量y共享，或者说知道特征变量X将可以完全预测响应变量y，则此时特征变量X和响应变量y的互信息为最大。
【Python机器学习】零基础掌握Clustering互信息类评估函数方法
Mr数据杨
11-02 47
和提供了一套全面的工具，用于在没有外部标签的情况下评估聚类模型的性能。它们通过量化聚类结果中信息共享的程度理解聚类算法的效果，并指导们何改进模型。虽然这些指标在数学上可能显得复杂，但它们在实践中是非常有用的，特别是在处理复杂和高维的数据集时。通过合理运用这些指标可以更加自信地应用聚类分析，从而在各种应用领域取得更好的结果。
python实现互信息和条件互信息的计算
FFXN的博客
05-11 1万+
最近在研究信息论的时候，需要计算两个变量之间的互信息和条件互信息，计算公式如下。 在python的api里只找到了互信息的函数： from sklearn.metrics import mutual_info_score X = [1,1,2] Y = [2,3,1] # 计算X和Y之间的互信息 print(mutual_info_score(X, Y)) 但是没有找到条件互信息的代码，于是自己动手实现了一下互信息和条件互信息的代码，以免需要用到的朋友再重复造轮子了。 注意在计算中所用到的对数均是以自
normalized_mutual_info_score评价
qq_45759229的博客
06-22 431
今天发现一个很奇怪的东西，就是我使用sklearn库进行计算normalized_mutual_info_score时，发现有两种语法。两种方法的结果是一致的，但是存在两种导入的方式。
（转）Normalized Mutual Information归一化互信息
qq_41978139的博客
06-21 1301
原 Normalized Mutual Information归一化互信息 2015年03月17日 15:52:19 知之可否 阅读数 11940更多 ...
ArcEngine注记处理详解与示例
本资源是一篇关于ArcGIS Engine中注记处理的详细教程，涵盖了多个关键步骤和技术，适合初学者和有一定经验的用户学习和参考。以下是主要内容的概述： 1. **说明与目标**：文章首先强调，由于作者的文字描述有限，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值