互信息（Mutual Information）

已于 2022-07-31 11:15:09 修改
阅读量3.1k 收藏 3
点赞数
文章标签： 学习
于 2022-07-26 19:24:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuyupeng_sjtu/article/details/126000257
版权
标准化互信息（NMI）是用于聚类效果评估的内部方法，它在无标签数据上比较不同聚类模型。NMI将互信息归一化到0到1之间，值越接近1表示聚类效果越好。该指标可用于在不同数据集间进行比较。
摘要由CSDN通过智能技术生成

Y 已知的情况下， 对 X时间熵（不确定性）降低的程度

I(X; Y) = H(X) - H(X|Y)

I(X;Y) = \sum_{y\in Y}\sum_{x\in X} p(x, y) log(\frac{p(x,y)}{p(x)p(y)})

p(x,y) : 联合概率分布

p(x), p(y) : 边缘概率分布

聚类属于无监督学习，数据没有标签，为了比较不同聚类模型的好坏，我们也需要一些定量的指标来进行评估。根式是否提供样本

最低0.47元/天 解锁文章
xuyupeng_sjtu
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
互信息是怎么互的？
mashutian的博客
01-31 468
熵又称为自信息（self- information），用来衡量随机变量的不确定性，假设一个随机变量X代表赌场里轮盘上的数字，一个随机变量Y代表6面骰子的数字，X的熵大于Y的熵，因为Y只有1-6数字可以选择，X上有0，00，以及1-36号数字可以选择！点互信息的应用非常广泛，在自然语言处理的任务里也大展手脚，比如，计算两个单词的相关性，假设p1是单词1的出现概率，p2是单词2的出现概率，p(1,2)是单词1和单词2的同时出现的概率，然后PMI(单词1，单词2)就是两者的相关性了，值越大越相关；
高数篇（四）-- 互信息概述与matlab实现
CarpeDiem
03-16 1万+
在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布p(X,Y)和分解的边缘分布的乘积p(X)p(Y)的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性。本篇主要从互信息的定义出发，推出互信息由熵得到的表达式，最后通过MATLAB进行代码实现。......
互信息
小时候挺菜的博客
12-05 978
互信息 一、概念 互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱，或者说是X与Y的相关性。 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: Note: 互信息 I (X; Y)可为正、负或0。 互信息实际上是更广泛的相对熵的特殊情形 如果变量不是独立...
互信息 c语言,NMI(标准化互信息)
weixin_32541907的博客
05-24 522
package clusters;import *;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;public class NormalizedMutualInformation {static String path = "/home/fhqplzj/I...
归一化互信息(NMI)评价指标
热门推荐
hang916的博客
03-24 4万+
信息熵 对信息进行量化度量。可以理解为某种特定信息的出现概率。 计算公式 相对熵 【百度百科】相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence，KL散度）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对...
Normalized Mutual Information归一化互信息
知之可否
03-17 2万+
Normalized Mutual Information(NMI)常用在聚类中，度量2个聚类结果的相近程度。 其中I(A,B)是A,B两向量的mutual information, H(A)是A向量的信息熵。 I(A,B)=H(A)-H(A|B)=H(B)-H(B|A),这也好理解，直觉上，如果已知B的情况，A的条件熵H(B|A)相对于H(A)变小了，即不确定程度变小，那么B能提供对
两个向量间的互信息 Mutual information
03-17
Mutual information可计算出两列向量之间的互信息，代码内有详细的注释，是信息理论领域常用的函数。
计算两个向量的互信息(Mutual Information) matlab程序
03-19
计算两个向量的互信息(Mutual Information) matlab程序
huxinxi.rar_mutual information_互信息
09-19
互信息（Mutual Information, MI）是信息论中的一个核心概念，它衡量的是两个随机变量之间的相互依赖程度。在IT领域，尤其是数据挖掘、机器学习和信号处理中，互信息被广泛应用于特征选择、模式识别以及通信系统的...
NMI 标准化互信息 python实现
03-14
对于NMI计算的python实现
NMI标准互信息 复杂网络评价
03-04
NMI标准互信息，用于评价复杂网络质量，适用于重叠社区的评价，java实现
互信息法mutualInformation代码
最新发布
09-11
% 互信息计算函数
aicmatlab代码-MutualInformation:互信息
06-15
aic matlab代码荧光图像中共定位的无模型量化和可视化 AMIGUI.mlappinstall 是一个 MATLAB 应用安装程序文件，用于在 MATLAB 中运行软件。 AMIGUI_Installer_web.exe 是独立的应用程序，用于在没有 ...
举例说明信息熵、互信息的计算过程
tangxianyu的博客
04-26 3万+
目录一、 计算公式1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)二、举例说明1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)总结 一、 计算公式 在shannon提出信息论到现在已经有70多年的历史。信息论中常用的概念有信息熵、联合熵、条件熵、互信息等概念。 1、信息熵H(X) 定义：一个离散随机变量X的熵H(X)定义为 H...
机器学习笔记 - 互信息Mutual Information
学以致用 知行合一
07-04 3684
遇到一个新的数据集时重要的第一步是使用特征效用指标构建排名，该指标是衡量特征与目标之间关联的函数。然后，您可以选择一小部分最有用的功能进行初始开发。 我们将使用的度量称为“互信息”。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。 互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。 互信息易于使用和解释，计算效率高，理论上有根据，抗过拟合，并且能够检测任何类型的关系。
利用互信息比较不同的聚类结果
tyh70537的博客
08-13 5500
互信息（mutual information）和信息熵（information entropy）一样都是信息论里面的概念。信息熵在决策树里面用的比较多，可以度量样本集合的纯度。而互信息在聚类中有很大的作用，它可以衡量对同一个数据集不同的划分的之间的相似程度。假设Pa，PbP^a，P^b表示数据集XX上的两个不同的划分，XX包括n的样本。PaP^a包含kak_a个簇，PaP^a= {Ca1,Ca2,⋯
在maven项目中，不能 new scala Object 的解决方法
秋雨ヾ的博客
07-04 516
在maven项目中，怎么创建Scala项目呢？ 下面是具体步骤 1.新建一个Maven项目
互信息（mutual information）
sudakuang的博客
09-29 5044
http://blog.csdn.net/pipisorry/article/details/51695283
两个向量间的互信息 mutual information
09-06
互信息（mutual information）是信息论中一种衡量两个随机变量之间关联程度的指标。互信息表示了当已知一个随机变量的取值时，另一个随机变量的不确定性的减少量。 互信息的计算公式为：I(X;Y) = H(X) + H(Y) - H(X,Y)，其中X和Y为两个随机变量，H(X)和H(Y)分别为X和Y的熵（即不确定性），H(X,Y)为X和Y的联合熵。 互信息的数值越大，表示两个变量之间的关联程度越高。当互信息为0时，说明两个变量是独立的，没有任何关联。当互信息为正值时，表示两个变量之间存在正相关关系。而当互信息为负值时，表示两个变量之间存在负相关关系。 互信息可以应用于很多领域，如模式识别、图像处理、自然语言处理等。在模式识别中，互信息可以用来评估不同特征之间的相关性，从而选择最具有区分度的特征进行分类。在图像处理中，互信息可以用来进行图像配准，即将两张图像进行对齐，使得它们在某些特定区域内的信息相互匹配。在自然语言处理中，互信息可以用来计算词语之间的相关性，从而提取关键词或进行文本分类。 总之，互信息是一种衡量两个随机变量之间关联程度的指标，可以用来评估变量之间的相关性，并在各个领域中有着广泛的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值