词共现矩阵表示词向量和点互信息

已于 2024-02-03 21:32:46 修改
阅读量836 收藏 9
点赞数 15
分类专栏： 自然语言处理 文章标签： 自然语言处理 深度学习 人工智能
于 2024-02-03 06:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xbusiwang/article/details/135983758
版权
本文介绍了如何通过计算文档中词的频次和共现矩阵，利用点互信息调整权重，以更准确地识别文档主题。特别关注了如何处理高频词和低频词，以及如何使用NLP技术将文本数字化处理为向量表示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.文档中某些字/词出现的频次往往能反应该字在文档中的重要程度，也从侧面反应了文档的主题，比如一个新闻，如果出现很多类似“足球”“篮球”词汇的描述，我们可以大概率推断这是一个关于体育的新闻。但是有些高频词会影响我们对文档的分析，比如“我”“你”“。、，！”这种词汇在文档中的数目非常多，但对于我们分析文档，没有什么益处，毕竟所有的文档，基本都包括这些内容。

2.NLP中对于给定一个句子W=w_1w_2...w_n，其中w_i是一个单词或者汉字/词语，为了处理这一段话，我们首先要将句子数字化处理。即进行初步的字符映射编码！其中用词之间的共现来表示一个句子的向量是一种不错的方式；比如有三句话：我 喜欢 自然 语言 处理 。/我 爱 深度 学习 。/我 喜欢 机器 学习 。（已分词）

这三句话的词表包括：【我 喜欢 自然 语言 处理 爱 深度 学习 机器 。】三个句子的共现矩阵如下表示：其中M_ij表示词典中第i个词和第j个词在文档中（此指三个句子）的共现次数

注：共现矩阵的每一行表示该词的向量表示，即 "我" ：[0, 2, 1, 1, 1, 1, 1, 2, 1, 3]


                

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
从零实现深度学习框架——从共现矩阵到点互信息

				
			

			

				

					日积月累，天道酬勤
				

				

					05-19
					
					1138
					
				

			

		

		

			
				
介绍了共现矩阵、点互信息和奇异值分解等分布式单词表示法。

			
		

	



                

            
              



	

		

			

				
					
使用PPMI改进共现矩阵

				
			

			

				

					及时总结
				

				

					01-13
					
					1272
					
				

			

		

		

			
				
使用PPMI改进共现矩阵
共现矩阵的元素表示两个单词同时出现的次数，这里的次数并不具备好的性质，举个例子，有短语叫the car，因为the是个常用词，如果以两个单词同时出现的次数为衡量相关性的标准，与drive 相比，the和car的相关性更强，这是不对的。
点互信息(Pointwise Mutual Information,PMI)：表达式如下，P(x)表示x发生的概率，P(y)表示y发生的概率，P(x,y)表示x和y同时发生的概率。PMI的值越高，表明x与y相关性越强。

用共现矩阵重写PMI表达式：

			
		

	



              


  
              

                


	

		

			

				
					
【NLP学习笔记】词共现矩阵

				
			

			

				

					学习带来的快乐最持久~
				

				

					07-16
					
					4461
					
				

			

		

		

			
				
词共现矩阵定义
通过统计一个事先指定大小的窗口内的word共现次数，以word周边的共现词的次数做为当前word的vector。具体来说，我们通过从大量的语料文本中构建一个共现矩阵来定义word representation。
例子
有语料如下：

I like deep learning.
I like NLP.
I enjoy flying.

则其共现矩阵如下：

将共现矩阵行(列)作为词向量表示后，可以知道like，enjoy都是在I附近且统计数目大约相等，他们意思相近。
矩阵定义的词向量在一定程度

			
		

	





	

		

			

				
					
【NLP】关键词共现/属性共现矩阵

				
			

			

				

					EchoooZhang的博客
				

				

					02-11
					
					1万+
					
				

			

		

		

			
				
【NLP】关键词共现/属性共现矩阵
【共现】理解起来无非是两个词语同时出现的频次作为一个指标，构造矩阵。矩阵的第一列和第一行都是词语列表中的所有词，因此对角线一般设置为0——即不把自己和自己共现算进去。假如矩阵为M，M【i】【j】
就表示第i+1个词和第j+1个词一起在文档集合里出现了多少次，且M【i】【j】=M【j】【i】。
1.构建关键词矩阵
参考网上代码：
感谢Python构建关键词共现矩阵...

			
		

	



		

			
		



	

		

			

				
					
自然语言处理（9）—— 共现词矩阵及Python实现

					
最新发布

				
			

			

				

					聚集机器学习、信息安全
				

				

					04-20
					
					1688
					
				

			

		

		

			
				
**共现词矩阵**（**Co-occurrence Matrix**）是自然语言处理（NLP）中用于捕捉词语间语义关系的重要工具。共现矩阵通过统计词语在特定上下文窗口内的共现频率，揭示文本中词汇的关联性，并为关键词提取、词向量表示等任务提供支持。

本文将从原理、构建方法、代码实现及优化策略等方面全面解析共现词矩阵。  

			
		

	





	

		

			

				
					
Python关键词共现矩阵【论文】

				
			

			

				

					好好读书
				

				

					04-07
					
					2099
					
				

			

		

		

			
				
Python关键词共现矩阵【论文】
Python是一种高级、解释性、面向对象的编程语言。它具有简洁的语法和易于阅读的代码风格，使得它成为初学者和专业开发人员的首选语言之一。Python具有广泛的应用领域，包括Web开发、数据分析、人工智能、科学计算、网络编程等。它拥有强大的第三方库和工具生态系统，如NumPy、Pandas、Matplotlib和TensorFlow，使得开发人员能够快速构建复杂的应用程序。Python还是一种跨平台的语言，可以在多个操作系统上运行，如Windows、Linux和MacOS。

			
		

	





	

		

			

				
					
词向量发展史-共现矩阵-SVD-NNLM-Word2Vec-Glove-ELMo

				
			

			

				

					m0_37565948的博客
				

				

					12-13
					
					1万+
					
				

			

		

		

			
				
话不多说，直接上干货。

首先介绍相关概念：

词嵌入：把词映射为实数域上向量的技术也叫词嵌入（word embedding）。

词向量的分类表示：



一、共现矩阵

       通过统计一个事先指定大小的窗口内的word共现次数，以word周边的共现词的次数做为当前word的vector。具体来说，我们通过从大量的语料文本中构建一个共现矩阵来定义word representation。
...

			
		

	





	

		

			

				
					
求助词共现矩阵的简单方法!

				
			

			

				

					weixin_40440798的博客
				

				

					05-21
					
					473
					
				

			

		

		

			
				
def compute_co_occurrence_matrix(corpus, window_size=4):
    """ Compute co-occurrence matrix for the given corpus and window_size (default of 4).
    
        Note: Each word in a document should be at the center of a window. Words near edges will have a 

			
		

	





	

		

			

				
					
python构建关键词共现矩阵

					
热门推荐

				
			

			

				

					Liu Ruilun的博客
				

				

					04-05
					
					4万+
					
				

			

		

		

			
				
本文仅仅提供了实现思路，如果对算法速度有追求的请移步python构建关键词共现矩阵速度优化(在此非常感谢这位同学的优化) 
非常感谢南京大学的张同学发现我代码中的bug，现文中的代码均已经更新请放心使用，并且代码放弃使用numpy进行矩阵的构建，因此可以对中文进行构建关键词共现矩阵了。同时，有很多同学对我在blog中总是提到的“import自己的代码“的代码感兴趣，现在已将代码git至GITHUB

			
		

	





	

		

			

				
					
【AI知识点】共现矩阵（Co-occurrence Matrix）

				
			

			

				

					AI完全体
				

				

					10-02
					
					3548
					
				

			

		

		

			
				
共现矩阵（Co-occurrence Matrix）是一种在自然语言处理中广泛使用的数学工具，用于表示词语在文本中相互出现的情况。它通常用于分析词语在文本中的共现关系，即哪些词语在同一上下文中经常一起出现。共现矩阵是生成词嵌入（Word Embedding）的一种重要方法，例如在GloVe模型中，它通过捕捉词语的共现信息来学习词语的语义表示。

			
		

	





	

		

			

				
					
基于共现矩阵的词向量表示方法

				
			

			

				

					
				

			

		

		

			
				
基于共现矩阵的词向量表示方法是一种经典且有效的表示方法，通过构建词语的共现矩阵，可以将词语表示为稠密的向量，捕捉词语之间的语义关系和语法关系。  本文旨在探讨基于共现矩阵的词向量表示方法，分析其优缺点，...

			
		

	





	

		

			

				
					
共现矩阵生成

				
			

			

				

					11-02
				

			

		

		

			
				
可生成基于词频共现的对称MDS矩阵,然后输入SPSS进行聚类。

			
		

	





	

		

			

				
					
斯坦福cs224n-2021 assignment1-探索词向量—词共现矩阵—SVD（奇异值分解）

				
			

			

				

					Anki Stark的博客
				

				

					11-06
					
					458
					
				

			

		

		

			
				
斯坦福cs224n-2021-词向量—词共现矩阵

			
		

	





	

		

			

				
					
NLP - 共现矩阵、Glove、评估词向量、词义

				
			

			

				

					stevence112的博客
				

				

					02-28
					
					1657
					
				

			

		

		

			
				
两种词向量表示方法：共现矩阵，然后使用线性代数方法（SVD）（问题：词之间没有意思层面的联系，只是相似性；过分重视大计数）随机初始，然后使用迭代神经网络更新算法（梯度下降法 负采样）（问题：语料库很大，分母太难计算；没有有效利用数据）Glove：将两种表示方法结合起来 => 在神经网络中使用计数矩阵|||V。

			
		

	





	

		

			

				
					
【自然语言处理共现矩阵应用】共现矩阵用于表示文本中词语之间的共现关系

				
			

			

				

					源代码杀手的博客
				

				

					03-17
					
					552
					
				

			

		

		

			
				
对于每一对 (word, co_word)，我们在共现矩阵字典 co_occurrence_matrix 中增加它们的共现计数，通过 co_occurrence_matrix[(word, co_word)] = co_occurrence_matrix.get((word, co_word), 0) + 1 实现。window_size 参数表示在一个窗口内的词语将会被认为是共现的，默认为2，意味着在一个词的左右各两个位置内的词都被认为是共现的。打印了构建出的词汇表和共现矩阵。

			
		

	





	

		

			

				
					
关键词提取一：构造共现矩阵

				
			

			

				

					zoe9698的博客
				

				

					01-28
					
					1万+
					
				

			

		

		

			
				
因为TFIDF算法的提取关键词的准确性很差，tfidf提取出的关键词很难看出文本的主旨，于是考虑结合文本语义对词汇的权重（IDF）重新分配，于是想要借鉴SKE算法，即将词语语义特征融入关键词提取过程中，构建词语语义相似度网络并利用居间度密度度量词语语义关键度。
因为构造词语网络需要先构造关键词共现图，关键词共现图需要先构造关键词共现矩阵，所以第一步就是构造关键词共现矩阵。
构造关键词共现矩阵的

			
		

	





	

		

			

				
					
python-共现矩阵(共词矩阵)计算

				
			

			

				

					xiuxiuxiu666的博客
				

				

					04-20
					
					8464
					
				

			

		

		

			
				
共现矩阵(共词矩阵)：统计文本中两两词组之间共同出现的次数，以此来描述词组间的亲密度

code(我这里求的对角线元素为该字段在文本中出现的总次数)：
import pandas as pd


def gx_matrix(vol_li):
    # 整合一下，输入是df列，输出直接是矩阵
    names = locals()
    all_col0 = []   # 用来后续求所有字段的集合
    for row in vol_li:
        all_col0 += row
    f.

			
		

	





	

		

			

				
					
一篇比较明白的共现矩阵解读

				
			

			

				

					qq_43407595的博客
				

				

					01-16
					
					1万+
					
				

			

		

		

			
				
最近学习NLP，发现网站上没有比较好的共现矩阵的讲解与实现，因此写了一篇稍微详细的博客，供想学习这块知识但没有资料的小伙伴学习。

			
		

	





	

		

			

				
					
GLove词向量，原理

				
			

			

				

					05-13
				

			

		

		

			
				
该损失函数是基于点互信息（Pointwise Mutual Information，PMI）的，并考虑了两个单词之间的共现频率和它们的词向量之间的距离。通过最小化这个损失函数，GloVe可以学习到词向量，使得同一上下文的单词在词向量空间...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
浅白Coder

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值