sklearn：点互信息和互信息

最新推荐文章于 2024-07-12 17:10:46 发布
最新推荐文章于 2024-07-12 17:10:46 发布
阅读量2.3w 收藏 38
点赞数 6
分类专栏： 机器学习 文章标签： PMI MI 互信息 sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013710265/article/details/72848755
版权
本文介绍了点互信息PMI和互信息MI的概念及其在机器学习中的应用，特别是在衡量词与词之间的相关性时的作用。通过sklearn库，可以方便地计算两个变量之间的互信息，用于理解和分析数据的相关性。
摘要由CSDN通过智能技术生成

1、点互信息PMI

机器学习相关文献里面，经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性（比如两个

词）。

其原理很简单，公式如下：



在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更

好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度

最低0.47元/天 解锁文章
JepsonWong
关注
  • 6
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
sklearn机器学习——day03
weixin_44267765的博客
09-08 937
sklearn
五、机器学习基础知识：相关性分析
weixin_42051846的博客
04-24 3186
分别从图表相关性分析、协方差分析、相关系数分析以及回归分析四个部分对机器学习中常见的数据特征相关性分析进行介绍，介绍过程中对相关性分析中具体的公式进行了说明。
互信息（Mutual Information，MI）的原理和计算
最新发布
GuFrank的博客
07-12 281
互信息（Mutual Information，MI）是信息论中的一个度量，用于量化两个随机变量之间的依赖关系。互信息度量了一个随机变量包含了关于另一个随机变量的信息量。它可以用来识别和量化两个信号之间的非线性相关性。互信息可以揭示两个信号共享的信息量，是信息论中的一个重要概念。以下是一个计算互信息的示例，假设我们有两个离散化的信号 X 和 Y： 解释 通过互信息，可以定量地评估两个信号之间的信息共享和依赖关系，这对于分析复杂系统中的变量关系非常有用。互信息（Mutual Information, MI）在
机器学习中的特征相关性分析
lwj的小站
04-13 1万+
原创不易，如需转载，请标明出处。 常用数据分析步骤 1.导入基本工具库： import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline import seaborn as sns import types import plotly.graph_objs as go fr...
机器学习数学基础十：相关分析
喜欢吃豆的博客
04-27 3719
这一章主要就是讲了统计学中相关分析的内容，比较复杂，因为这其中有一个很大的关系网，需要大家认真学习
机器学习(32)之典型相关性分析(CCA)详解 【文末有福利......】
热门推荐
机器学习算法与Python学习
12-17 3万+
微信公众号关键字全网搜索最新排名【机器学习算法】：排名第一【机器学习】：排名第一【Python】：排名第三【算法】：排名第四人工智能与Python公开课限时免费文末领取前言典型关联分析(Canonical Correlation Analysis，简称CCA)是最常用的挖掘数据关联关系的算法之一。比如我们拿到两组数据，第一组是人身高和体重的数据，第二组是对应的跑步能力和跳远能力的数据。那么我们能不
【机器学习】变量间的相关性分析
sxl的博客
07-23 716
【代码】【机器学习】变量间的相关性分析。
机器学习特征选择：传统互信息、k-nearest neighbor互信息
weixin_43864473的博客
03-03 5235
研究了下sklearn.feature_selection()中参考的Estimating Mutual Information论文与Mutual Information between Discrete and Continuous Data Sets论文，整理一篇基于k-最近邻的互信息算法。
sklearn 互信息
07-27
在sklearn中，互信息法是一种用来捕捉每个特征与标签之间的任意关系（包括线性和非线性关系）的特征选择方法。互信息法可以通过计算特征与标签之间的互信息得分来评估特征的重要性。互信息法的使用方法如下所示： `...
互信息MI的python代码
05-01
Python中还有其他库，如`sklearn.metrics.pairwise`提供了互信息的估算方法，例如`pairwise_mutual_info`函数。这些库通常会采用核密度估计或binning方法来近似连续变量的联合概率分布。 在进行互信息分析时，还...
机器学习相关岗位分析
02-28
机器学习相关方向以及未来职业方向分析展望
数据线性相关性对机器学习的影响（一）
06-20
实验目的： 1 熟练coursera上NG所学机器学习课程所学习的算法 2 如果将PCA理解为是通过减少数据的线性相关性来达到降维目的的话，本实验想要从实验的角度来观察保持其他不变，只更改数据线性相关性是否会改变机器学习的结果。 链接：http://blog.csdn.net/hns20070/article/details/9132033
互信息的计算
01-21
互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性.综合网上的一些有关互信息的计算，这里一共提供7种不同的程序供大家参考；后期可以继续交流。
互信息计算程序
12-15
计算互信息的Matlab程序,详细说明了怎么计算图像配准的数学过程，通过灰度直方图统计来进行互信息值的计算
机器学习笔记 - 互信息Mutual Information
学以致用 知行合一
07-04 3731
遇到一个新的数据集时重要的第一步是使用特征效用指标构建排名，该指标是衡量特征与目标之间关联的函数。然后，您可以选择一小部分最有用的功能进行初始开发。 我们将使用的度量称为“互信息”。互信息很像相关性，因为它衡量两个量之间的关系。互信息的优点是它可以检测任何一种关系，而相关性只检测线性关系。 互信息是一个很好的通用指标，在功能开发开始时特别有用，因为您可能还不知道要使用哪种模型。 互信息易于使用和解释，计算效率高，理论上有根据，抗过拟合，并且能够检测任何类型的关系。
机器学习-特征选择：如何使用相关性分析精确选择最佳特征？
笑不语的博客
07-03 4397
本文致力于利用相关性分析来辅助特征选择过程。相关性分析作为一种用于量化特征之间关系的方法，可以帮助我们理解数据中的潜在模式和相互作用。通过分析特征之间的相关性，我们可以更加准确地选择具有高预测能力和独立性的特征，从而提高特征选择的效果和结果
【机器学习】01. python随机森林实现回归，相关性分析，特征重要性分析
暂无简介
12-26 2887
背景：有个关于回归的任务，因保护客户数据资料，用鸢尾花数据集代替，完成随机森林算法实现部分功能。后续还可以添加一些寻优逻辑，比如网格搜索，交叉验证等。2. 输出数据特征之间的相关性矩阵。4. 加载模型并预测输出均方误差和R方评估指标。3. 训练模型并保存joblib文件。此时会显示当前数据的部分相关描述。5. 特征重要性分析。
机器学习——数据降维和相关性分析
sinat_40265360的博客
04-16 5473
特征工程中数据降维方法思想有两种： 1. 破坏数据原有的结构从而提取数据的主要特征，例如主成分分析（PCA）； 2. 对数据进行相关性分析，按照一定的法则来对数据的属性进行取舍达到降维的目的。 相关性分析主要考量两组数据之间的相关性，以一种指标来判定，观察数据中哪些属性与目标数据的相关性较强，从而做出保留，哪些较弱，进行剔除。 相关性分析方法也分为线性相关性分析与非线性相关性分析两种，分别应用于不同的场景。 一、 线性相关性分析 1.数据可视化方法：数据可视化在某些情况下可以简单且直...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值