数据挖掘笔记-情感倾向点互信息算法

已于 2023-01-30 18:38:06 修改
阅读量3.9w 收藏 31
点赞数 2
分类专栏： DataMining 文章标签： 数据挖掘 情感 互信息
于 2014-10-04 12:28:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fighting_one_piece/article/details/39778809
版权
点互信息（PMI）用于衡量词语的语义相似度，而情感倾向点互信息（SO-PMI）算法则将其应用于情感分析。通过对褒义词和贬义词基准集合的PMI差值计算，确定词语的情感倾向，如正面、中性或负面。Java实现的SO-PMI算法示例可用于实际情感分析任务。
摘要由CSDN通过智能技术生成
       点间互信息（PMI）主要用于计算词语间的语义相似度，基 本思想是统计两个词语在文本中同时出现的概率，如果概率越大，其相关性就越紧 密，关联度越高。 两个词语word1与word2的PMI值计算公式如下式所示为：
P(word1&word2)表示两个词语word1与word2共同出现的概率，即word1与word2共同出现的文档数， P(word1)与P(word2)分别表示两个词语单独出现的概率，即word出现的文档数。若两个词语在数据集的某个小范围内共现概率越大，表明其关联度越大；反之，关联度越小。P(word1&word2)与P(word1)P(word2)的比值是word1与word2两个词语的统计独立性度量。 其值可以转化为3 种状态：
P(word1&word2) > 0 ；两个词语是相关的；值越大，相关性越强。 
P(word1&word2) = 0 ；两个词语是统计独立的，不相关也不互斥。
P(word1&word2) < 0 ；两个词语是不相关的，互斥的。
       情感倾向点互信息算法(Semantic Orientation Pointwise Mutual Information, SO-PMI)是
最低0.47元/天 解锁文章
人生偌只如初见
关注
专栏目录
数据挖掘笔记07-091
08-03
本节笔记主要讲解了数据挖掘中分类算法的两种主要方法：Classification I和Classification II。下面是本节笔记的详细知识点总结： Classification I 在Classification I中，我们讨论了三种常见的分类算法评估方法...
文本特征选择
huludan的专栏
06-14 2023
转载：http://www.cnblogs.com/fengfenggirl/p/text_feature_selection.html 在做文本挖掘，特别是有监督的学习时，常常需要从文本中提取特征，提取出对学习有价值的分类，而不是把所有的词都用上，因此一些词对分类的作用不大，比如“的、是、在、了”等停用词。这里介绍两种常用的特征选择方法： 互信息 　　一个常用的方法
情感分析学习笔记（2）——SO-PMI算法详解
LiQZ的博客
10-12 1万+
整个项目是我借鉴了论文的内容一行代码一行代码敲的（除了.scel转为.txt），没有查阅github上面的开源项目等（就是说我自己封装了一个SO-PMI算法），说不定有漏洞或者思考不清晰的地方，如果发现了请麻烦指正。当然在进行计算的时候，我是采用的循环，并没有将数据矩阵化或者向量化（主要是还不清楚怎样矩阵化或者向量化），在运行效率上确实很差。 这是我在3400条数据集上跑出来的效果，效果很烂，主要数据集太拉胯了。 整个项目的代码除了数据集已开源到了github上，我会在文章后放上链接。 该项目算是复现了少.
信息熵+互信息(信息增益)
最新发布
weixin_43845922的博客
09-10 1295
当熵和条件熵中的概率由数据估计(特别是极大似然估计)得到时，所对应的熵与条件熵分别称为经验熵(empirical entropy)和经验条件熵(empirical conditional entropy).因为中国队进入世界杯的不确定性因素很大，而这句话消除了进入世界杯的不确定性，所以按照定义，这句话的信息量很大。给出熵和条件熵的定义。而言，信息增益依赖于特征，不同的特征往往具有不同的信息增益，信息增益大的特征具有更强的分类能力，,计算其每个特征的信息增益，并比较它们的大小，选择信息增益最大的特征。
点互信息PMI（Pointwise Mutual Information）
Rolandxxx的博客
09-28 1977
所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量。可以看出，互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和，而点互信息只是对其中两个点进行相关性判断。因此，点互信息这个名字还是很形象的。在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现的概率p(x)，自然就表示x跟y的相关程度。
文本匹配相似度计算---多种距离算法 ，多种相似度计算算法，一看就懂
Western_europe
11-02 4435
常见的距离算法和相似度（相关系数）计算方法 总结摘要 1.常见的距离算法 1.1欧几里得距离（Euclidean Distance） 根据两用户之间共同评价的Item为维度，建立一个多维的空间，那么通过用户对单一维度上的评价Score组成的坐标系X（s1,s2,s3……，si）即可定位该用户在这个多维度空间中的位置，那么任意两个位置之间的距离Distance(X,Y)（即：欧式距离）就能在一定程度上反应了两用户兴趣的相似程度。 欧氏距离越小，两个用户相似度就越大，欧氏距离越大，两个用户相似度就越小。 计算
【NLP】互信息
Loewi的博客
04-13 1108
【任务4 -文本表示】 TF-IDF原理。 文本矩阵化，使用词袋模型，以TF-IDF特征值为权重。（可以使用Python中TfidfTransformer库） 互信息的原理。 使用第二步生成的特征矩阵，利用互信息进行特征筛选。 互信息 互信息是衡量两个随机变量的相关性，也就是一个随机变量中包含的关于另一个随机变量的信息量，所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分...
NLP_task3特征选择_点互信息和互信息(求词语关联性)
zhouwenyuan1015的博客
11-12 1890
转载： https://blog.csdn.net/zyq11223/article/details/90267069 感谢原作者，如有侵权，请联系删除。 点互信息PMI 机器学习相关文献里面，经常会用到点互信息PMI(Pointwise Mutual Information)这个指标来衡量两个事物之间的相关性（比如两个词）。 关于PMI PMI, 是互信息(NMI)中的一种特例, 而互信息,是源于信息论中的一个概念,主要用于衡量2个信号的关联程度. 至于PMI,是在文本处理中,用于计算两个词语之间的关
互信息的原理、计算和应用
qq_39337332的博客
09-14 5614
互信息的原理、计算和应用Background熵 Entropy交叉熵 Cross Entropy条件熵 Conditional EntropyKL-散度 KL-divergence定义计算方法变分法 Variational approachMutual Information Neural Estimation, MINEDEEP INFOMAX应用迁移学习迁移强化学习自监督学习ReferencesAppendixA.B. Background 熵 Entropy 在信息论中，熵是给定概率下的最佳编码方式[
数据挖掘笔记01-031
08-03
综上所述，数据挖掘笔记01-031涵盖了数据挖掘流程中的关键步骤和技术，从数据的获取、清洗、转换到分析，以及如何通过SQL和OLAP工具有效提取和探索信息，最后强调了了解数据特性的重要性，为后续的挖掘工作打下坚实...
数据挖掘笔记11-121
08-03
数据挖掘是一种从海量数据中发现有价值信息的技术，它在各个领域都有着广泛的应用。这篇笔记主要涵盖了数据挖掘中的聚类分析，这是数据挖掘中无监督学习的一种重要方法。 1. 聚类分析简介：聚类分析是将数据集中的...
Java数据结构与算法-笔记-代码-课件-资料
05-17
内容包括: 稀疏数组、单向队列、环形队列、单向链表、双向链表、环形链表、约瑟夫问题、栈、前缀、中缀、后缀表达式、中缀表达式转换为后缀表达式、递归与回溯、迷宫问题、八皇后问题、算法的时间复杂度、冒泡排序、...
算法数据结构学习笔记-C语言.zip
06-16
"算法数据结构学习笔记-C语言.zip"这个压缩包很可能是为大学生提供的一份详细的学习资源，涵盖了数据结构的基础知识、常见算法以及相关的实践练习。 首先，我们要理解数据结构的基本概念，如数组、链表、栈、队列、...
NLP（三）：文本表示的特征选取（TF-IDF，互信息）
wpf的博客
04-13 1469
目录 1.TF-IDF概述 *首先我们先回顾一下学习计划（）二）中提到的文本向量化表示：https://blog.csdn.net/weixin_42483560/article/details/89218698 2.TF-IDF的sklearn实现 方法一： 方法二： 3.（点）互信息原理 3.1点互信息 3.2互信息 4.互信息的sklearn实现 1.TF-IDF概述 ...
PMI(Pointwise Mutual Information)
Cheney的博客
01-19 5944
公式 几句废话 先来一两句废话，要想解释好点互信息必须学会科学上网，当然如果没有条件本篇博客会具体介绍。上网百度得到的搜索结果如下图1-1所示，事实证明百度不够自信，这么重要的概念百度学术里面没有？淦！居然都是来自CSDN，然而CSDN有个致命的缺点，就是对于某个问题的讲解原创比较少，后面的人基本就是copy了。当然CSDN大牛依旧非常多，向原创致敬，向大佬看齐！接着跑去了维基百科搜索了一番，结果如图1-2所示。没有对比就没有伤害，不是为了黑而黑，实事求是的讲百度在相关学术方面做的真的不咋地...
NLP关键词提取方法总结及实现
datayx的文章
03-31 4583
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx一、关键词提取概述关键词是能够表达文档中心内容的词语，常用于计算机系统标引论文内容特征、信息检索、系统汇集以供读者检阅。关键词提取是文本挖掘领域的一个分支，是文本检索、文档比较、摘要生成、文档分类和聚类等文本挖掘研究的基础性工作。从算法的角度来看，关键词提取算法主要有两类：无监督关键词提取...
举例说明信息熵、互信息的计算过程
热门推荐
tangxianyu的博客
04-26 3万+
目录一、 计算公式1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)二、举例说明1、信息熵H(X)2、联合熵H(X,Y)3、互信息I(X,Y)4、条件熵H(X|Y)总结 一、 计算公式 在shannon提出信息论到现在已经有70多年的历史。信息论中常用的概念有信息熵、联合熵、条件熵、互信息等概念。 1、信息熵H(X) 定义：一个离散随机变量X的熵H(X)定义为 H...
互信息公式及概述
Cybenko
03-10 1143
互信息
信息量和互信息
LiPan的博客
11-12 4365
记录学习分享 理解信息量 https://blog.csdn.net/tsyccnh/article/details/79163834 自信息量： -I(xi) = -log( P(xi) ) 信息熵：(自信息量的期望） H(X) = -∑P(xi) * log( P(xi) ) 条件熵：（条件信息量的期望。前边是xi和yj同时发生的概率，就是求期望） H(X|Y) = -∑P(xi, yj) * log( P(xi | yj) ) 联合熵： H(X, Y) = -∑P(xi, yj) * log.
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值