互信息（Mutual Information）

已于 2022-07-31 11:15:09 修改
阅读量3.2k 收藏 3
点赞数
文章标签： 学习
于 2022-07-26 19:24:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuyupeng_sjtu/article/details/126000257
版权
标准化互信息（NMI）是用于聚类效果评估的内部方法，它在无标签数据上比较不同聚类模型。NMI将互信息归一化到0到1之间，值越接近1表示聚类效果越好。该指标可用于在不同数据集间进行比较。
摘要由CSDN通过智能技术生成

Y 已知的情况下， 对 X时间熵（不确定性）降低的程度

I(X; Y) = H(X) - H(X|Y)

I(X;Y) = \sum_{y\in Y}\sum_{x\in X} p(x, y) log(\frac{p(x,y)}{p(x)p(y)})

p(x,y) : 联合概率分布

p(x), p(y) : 边缘概率分布

聚类属于无监督学习，数据没有标签，为了比较不同聚类模型的好坏，我们也需要一些定量的指标来进行评估。根式是否提供样本的标签信息，相关的指标可以分为以下两大类

最低0.47元/天 解锁文章
xuyupeng_sjtu
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
高数篇（四）-- 互信息概述与matlab实现
CarpeDiem
03-16 1万+
在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布p(X,Y)和分解的边缘分布的乘积p(X)p(Y)的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性。本篇主要从互信息的定义出发，推出互信息由熵得到的表达式，最后通过MATLAB进行代码实现。......
互信息
小时候挺菜的博客
12-05 997
互信息 一、概念 互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱，或者说是X与Y的相关性。 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: Note: 互信息 I (X; Y)可为正、负或0。 互信息实际上是更广泛的相对熵的特殊情形 如果变量不是独立...
互信息 c语言,NMI(标准化互信息)
weixin_32541907的博客
05-24 526
package clusters;import *;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;public class NormalizedMutualInformation {static String path = "/home/fhqplzj/I...
归一化互信息(NMI)评价指标
热门推荐
hang916的博客
03-24 4万+
信息熵 对信息进行量化度量。可以理解为某种特定信息的出现概率。 计算公式 相对熵 【百度百科】相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence，KL散度）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对...
Normalized Mutual Information归一化互信息
知之可否
03-17 2万+
Normalized Mutual Information(NMI)常用在聚类中，度量2个聚类结果的相近程度。 其中I(A,B)是A,B两向量的mutual information, H(A)是A向量的信息熵。 I(A,B)=H(A)-H(A|B)=H(B)-H(B|A),这也好理解，直觉上，如果已知B的情况，A的条件熵H(B|A)相对于H(A)变小了，即不确定程度变小，那么B能提供对
两个向量间的互信息 Mutual information
03-17
Mutual information可计算出两列向量之间的互信息，代码内有详细的注释，是信息理论领域常用的函数。
计算两个向量的互信息(Mutual Information) matlab程序
03-19
计算两个向量的互信息(Mutual Information) matlab程序
huxinxi.rar_mutual information_互信息
09-19
互信息（Mutual Information, MI）是信息论中的一个核心概念，它衡量的是两个随机变量之间的相互依赖程度。在IT领域，尤其是数据挖掘、机器学习和信号处理中，互信息被广泛应用于特征选择、模式识别以及通信系统的...
互信息法mutualInformation代码
最新发布
09-11
% 互信息计算函数
NMI 标准化互信息 python实现
03-14
对于NMI计算的python实现
NMI标准互信息 复杂网络评价
03-04
NMI标准互信息，用于评价复杂网络质量，适用于重叠社区的评价，java实现
aicmatlab代码-MutualInformation:互信息
06-15
aic matlab代码荧光图像中共定位的无模型量化和可视化 AMIGUI.mlappinstall 是一个 MATLAB 应用安装程序文件，用于在 MATLAB 中运行软件。 AMIGUI_Installer_web.exe 是独立的应用程序，用于在没有 ...
举例说明信息熵、互信息的计算过程
tangxianyu的博客
04-26 3万+
目录一、 计算公式1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)二、举例说明1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)总结 一、 计算公式 在shannon提出信息论到现在已经有70多年的历史。信息论中常用的概念有信息熵、联合熵、条件熵、互信息等概念。 1、信息熵H(X) 定义：一个离散随机变量X的熵H(X)定义为 H...
机器学习笔记 - 互信息Mutual Information
学以致用 知行合一
07-04 3700
遇到一个新的数据集时重要的第一步是使用特征效用指标构建排名，该指标是衡量特征与目标之间关联的函数。然后，您可以选择一小部分最有用的功能进行初始开发。 我们将使用的度量称为“互信息”。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。 互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。 互信息易于使用和解释，计算效率高，理论上有根据，抗过拟合，并且能够检测任何类型的关系。
利用互信息比较不同的聚类结果
tyh70537的博客
08-13 5512
互信息（mutual information）和信息熵（information entropy）一样都是信息论里面的概念。信息熵在决策树里面用的比较多，可以度量样本集合的纯度。而互信息在聚类中有很大的作用，它可以衡量对同一个数据集不同的划分的之间的相似程度。假设Pa，PbP^a，P^b表示数据集XX上的两个不同的划分，XX包括n的样本。PaP^a包含kak_a个簇，PaP^a= {Ca1,Ca2,⋯
在maven项目中，不能 new scala Object 的解决方法
秋雨ヾ的博客
07-04 519
在maven项目中，怎么创建Scala项目呢？ 下面是具体步骤 1.新建一个Maven项目
互信息（mutual information）
sudakuang的博客
09-29 5054
http://blog.csdn.net/pipisorry/article/details/51695283
信息熵的计算公式_信息熵、条件熵、联合熵、互信息、相对熵、交叉熵
weixin_39628945的博客
12-04 5105
点击上方“机器学习与统计学”，选择“置顶”公众号重磅干货，第一时间送达信息熵、联合熵、条件熵、互信息的关系1、信息量信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量可以定义如下：下面解释为什么要取倒数再去对数。(1)先取倒数： 这件事表示：“信息量”和“概率”呈反比；(2)...
两个向量间的互信息 mutual information
09-06
互信息（mutual information）是信息论中一种衡量两个随机变量之间关联程度的指标。互信息表示了当已知一个随机变量的取值时，另一个随机变量的不确定性的减少量。 互信息的计算公式为：I(X;Y) = H(X) + H(Y) - H(X...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值