不相关性、独立性以及互信息（Mutual Information, MI）和相关系数之间的关系

最新推荐文章于 2025-02-27 14:02:03 发布
最新推荐文章于 2025-02-27 14:02:03 发布
阅读量1.3k 收藏 16
点赞数 14
分类专栏： dc4 文章标签： 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51011530/article/details/142994798
版权

1. 不相关性与独立性

  • 不相关性：不相关性意味着两个随机变量之间的线性关系为零。换句话说，如果两个变量不相关，它们之间的线性依赖关系不存在，但这并不意味着它们之间没有其他形式的关系。它们可能仍然通过某种非线性方式相互影响。

    举例来说，考虑两个变量 X X X 和 Y Y Y，如果它们的相关系数（Correlation Coefficient） 为 0，那么我们说它们不相关。但是这只说明它们没有线性关系，可能还存在某种复杂的非线性依赖。

  • 独立性：独立性意味着两个随机变量之间完全没有任何关系，无论是线性关系还是非线性关系。如果 X X X 和 Y Y

最低0.47元/天 解锁文章
信息时代的必修课：寻找和利用信息的强相关性（互信息可以帮你判断两件事到底是不是相关）
专注于计算机研发知识和资讯分享
03-17 912
条件Y1所带来的信息增益：H（X）-H（X|Y1），写作IG（Y1）。具体到这个特殊的情况，IG就是X和Y之间的互信息，这个值越大，说明消除的不确定性越大，X和Y越具有相关性。信息Y2所带来的信息增益就是在原来Y1基础上的增加，写成IG（Y2）。假设后面还有N种不同的信息，从数学上看，它们带来的信息增益，每一个都是在原来所有信息基础上递减的。通常人们总是率先发现和所要解决问题互信息最大的信息，也就是增益最大的信息，因此通常来讲，越往后发现的信息，带来的增益越小。
机器学习笔记 - 互信息Mutual Information
学以致用 知行合一
07-04 4278
遇到一个新的数据集时重要的第一步是使用特征效用指标构建排名，该指标是衡量特征与目标之间关联的函数。然后，您可以选择一小部分最有用的功能进行初始开发。 我们将使用的度量称为“互信息”。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。 互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。 互信息易于使用和解释，计算效率高，理论上有根据，抗过拟合，并且能够检测任何类型的关系。
机器学习基础 | 互相关系数和互信息异同探讨
fangsfdavid的博客
07-12 3035
机器学习基础 | 互相关系数和互信息异同探讨 主要阐述互相关系数和互信息的区别和联系，先说结论： 对于高斯分布，两者是等价的，且存在转换公式，当XXX与YYY互相关系数为零时，两者相互独立，且互信息为零；当互相关系数为±1\pm1±1时，两者完全相关且互信息为无穷大，转换公式： I(X,Y)=−12log⁡(1−r2) I(X,Y)=-\frac{1}{2}\log(1-r^2) I(X,Y)=−21​log(1−r2) 一般情形，互相关系数只是反应了两者之间的线性相关关系，而互信息则直接从概率分布
互信息与相关性算法讲解
最新发布
DuHz的博客
02-27 902
在数据分析与统计建模中，度量两个随机变量之间的依赖关系是一项非常重要的任务。我们最常用的方法是相关性（Correlation），如皮尔逊相关系数（Pearson correlation coefficient），可以定量衡量变量之间的线性关系。然而，当变量间存在非线性乃至更复杂的依赖结构时，相关系数往往力不从心。此时，互信息（Mutual Information, MI）可以提供更通用的度量。本文通过相当多的数学公式，配合通俗解释，带你从多个角度理解相关性和互信息这两种重要概念。
特征选择-皮尔逊相关系数-互信息
世上再无张显宗
10-01 8264
特征选择 1.相关性 通过使用相关性，我们很容易看到特征之间的线性关系。这种关系可以用一条直线拟合。 下面通过皮尔逊相关系数（Pearson correlation coefficient）来解释特征的相关性： 下面每幅图上方的相关系数Cor(X1, X2)是计算出来的皮尔逊r值，从图中可以看出不同程度的相关性。 scipy.stats.pearsonr()，给定两个数据序列 ，会返回相关系数值和p值所组成的元组。皮尔逊相关系数（皮尔逊r值）测量两个序列的线性关系，取值在-1到1之间，-1代表负相关、1代
互信息——事件相关性度量
zhurouwan的博客
07-03 1万+
理解互信息。
互信息
一只飞鱼的博客
04-03 4812
1. 相关性的描述问题 独立性说明两者之间无关系，相关性可以说明两者之间有关系，但这两者之间关系强弱如何度量？我们可以有线性相关系数（皮尔逊积矩相关系数)、卡方检验（此处不谈）和互信息这几个指标来进行量化。 使用线性相关系数的前提自变量与因变量是线性关系，取值范围为[-1,1]，负数表示负相关: ρx,y=cov(X,Y)σX,σY=E[(X−uX)(Y−uY)]σX,σYρx,y=cov(...
机器学习-特征中的相关性及相关系数、卡方检验、互信息
数据掘金
08-06 3万+
过滤式方法先按照某种规则对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器无关，这相当于先用特征选择过程对初始特征进行“过滤”，再用过滤后的特征来训练模型。相关系数法、卡方检验法和互信息法是进行特征选择时常用的几种过滤式方法。 变量之间的关系 变量之间的关系可分为两类： （1）存在完全确定的关系——称为函数关系，即Y=2X+3； （2）不存在完全确定的关系——虽然变量间有着十分密切的关系，但是不能由一个或多各变量值精确地求出另一个变量的值，称为相关关系，存在相关关系...
互信息（Mutual Information, MI）
qq_51011530的博客
10-17 2140
互信息IX;YI(X;Y)IX;Y是用来描述两个随机变量XXX和YYY之间的共同信息量，它告诉我们知道一个变量可以减少另一个变量多少不确定性。IX;IX;Yxy∈X×Y∑​pxylogpxpypxy​pxyp(x, y)pxy是XXX和YYY的联合概率分布。pxp(x)px和pyp(y)py分别是X。
huxinxi.rar_mutual information_互信息
09-19
互信息（Mutual Information, MI）是信息论中的一个核心概念，它衡量的是两个随机变量之间的相互依赖程度。在IT领域，尤其是数据挖掘、机器学习和信号处理中，互信息被广泛应用于特征选择、模式识别以及通信系统的...
test_mi.zip_MI_mutual information
09-24
标题中的“test_mi.zip_MI_mutual information”表明这是一个与计算和测试互信息（Mutual Information, MI）相关的程序包。互信息是信息论中的一个重要概念，用于衡量两个随机变量之间的相互依赖程度。在这个上下...
第十四篇——互信息：相关不是因果，那相关是什么？
学习的学习是什么？
06-12 789
对于信息的多维度理解，让我们可以站在世界之巅来指点江山。
拿捏！相关性分析，一键出图！皮尔逊、斯皮尔曼、肯德尔、最大互信息系数（MIC）、滞后相关性分析，直接运行！独家可视化程序！
weixin_48747334的博客
01-21 1876
相关性分析是一种统计方法，用于衡量两个或多个变量之间的关系程度。通过相关性分析，我们可以了解变量之间的相互关系、依赖性，以及它们是如何随着彼此的变化而变化的。相关性分析通常包括计算相关系数或其他衡量关联度的指标。
相关系数简记
goodgoodstudyddp的博客
02-10 489
pearson和spearman相关系数食用方法： 1.连续数据，正态分布，线性关系，用pearson相关系数是最恰当，当然用spearman相关系数也可以，效率没有pearson相关系数高。 2.上述任一条件不满足，就用spearman相关系数，不能用pearson相关系数。 3.两个定序测量数据之间也用spearman相关系数，不能用pearson相关系数。 但是 上述二者只能观察是否线性相关。而互信息发可以观察非线性相关。 互信息： Pearson和spearman相关系数存在一个问题是一般情况下只考
特征选择---过滤法（特征相关性分析方差、卡方、互信息）
lizz2276的博客
06-24 5210
https://blog.csdn.net/dili8870/article/details/101506788 一、绘图判断 一般对于强相关性的两个变量，画图就能定性判断是否相关 散点图 seaborn.scatterplot # 散点图矩阵初判多变量间关系 data = pd.DataFrame(np.random.randn(200,4)*100, columns = ['A','B','C','D']) pd.plotting.scatter_matri
MI相关--学习笔记
oneself的博客
10-12 955
MI相关--学习笔记
线性相关系数、卡方检验、互信息
gdanskamir的专栏
02-07 3万+
线性相关系数、卡方检验、互信息线性相关系数卡方检验互信息 线性相关系数 卡方检验 互信息 总结相信大家在数据挖掘的很多地方大家都看到这三个概念，比如说线性拟合的时候，看线性相关系数来评估拟合程度；在特征工程中，这三个都是filter类方法之一(过滤型)。那今天给大家总结下这三个概念，个人才疏学浅，有啥问题还请大家批评指正。线性相关系数也叫Pｅａｒｓｏｎ相 关 系 数， 主要衡量两个变量线性相关的程度
Maximal Information Coefficient (MIC)最大互信息系数
热门推荐
剪水落帝
06-29 3万+
MIC我在论文使用MIC来衡量两个基因之间的关联程度，线性或非线性关系，相较于Mutual Information（MI）互信息而言有更高的准确度巴拉巴拉的，按作者的话说总之比其他的方式好。原文参照： Detecting Novel Associations in Large Data Sets相关东西自己看看人家原文，一直觉得人家歪果仁写东西很认真，基础提到，实验充足…英文可以的话，尽量多读读歪
NLP_task3特征选择_点互信息和互信息(求词语关联性)
沐埜专栏
05-16 4725
点互信息和互信息 点互信息PMI 机器学习相关文献里面，经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性（比如两个词）。 其原理很简单，公式如下： 在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。 用后面的式子可能更好理解，在y出现的情...
MI互信息计算工具：对比相关系数分析
资源摘要信息:"互信息（Mutual Information，简称MI）是信息论中的一个概念，用于描述两个变量间的统计依赖程度。它是两个变量共享信息的量度，可以衡量一个变量包含关于另一个变量的信息量。互信息的计算基于变量的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值