（六）PositionRank: An Unsupervised Approach to Keyphrase Extractionfrom Scholarly Documents解读二

最新推荐文章于 2022-09-13 16:45:02 发布
最新推荐文章于 2022-09-13 16:45:02 发布
阅读量158 收藏
点赞数
分类专栏： 面向特定问题的开源算法推荐 文章标签： python nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Simonsdu/article/details/121103897
版权

PositionRank: An Unsupervised Approach to Keyphrase Extractionfrom Scholarly Documents解读二

2021SC@SDUSC

相关问题

影响模型性能的参数

扫描窗大小w会影响模型结果。因为w决定会决定哪些边加入图，以及边的权重大小。作者对不同的w在不同数据集上进行测试，发现当w的取值为2-10时，差别并不显著。

在这里插入图片描述

补充：MRR，对所有查询的相关结果的位置取倒数累加并平均，也就是说当相关结果出现的越早时MRR得分越高。

进行PageRank计算时的阻尼系数α也会可能会影响模型的表现，经测试，取值对结果没有显著影响。
补充：PageRank（前两天信息检索课上老师告诉我们这个算法之所以这样命名是因为是由谷歌的副总裁Page提出来的）
在这里插入图片描述

PageRank认为，一个节点对系统施加影响的结果，就是与它相连的节点也具有一定的影响力。假如图1-1是一个财富分发网络：Node1向其他节点传递财富，node1接收不能搞传播从node0得到的财富;等等**。Node0的影响力，可以用与之相连的node1的影响力来度量**。这个套路有点类似“通过看一个人的朋友来分析这个人”。

我们用符号来描述一下PageRank的想法。假设一个节点的影响力值是PR，Node0节点的影响力就是
在这里插入图片描述

,类似的，node1的影响力就是
在这里插入图片描述

这是PageRank的第一个模块。

之后，我们利用该模块的结果不断迭代，直到达到收敛条件或提前确定的迭代次数。

对所有位置信息求和vs只考虑关键词第一次出现的位置

经实验，使用所有位置信息的性能表现要优于仅仅考虑单词的第一次的出现的位置。

在这里插入图片描述

位置信息在关键词的提取中起到了多大的作用

作者将PositionRank模型与其他两种未使用位置信息的Pagerank模型进行对比，经实验，使用位置信息的PageRank算法性能有极大的提升。

在这里插入图片描述

PositionRank与当今主流方法对比

strong baseline： TF-IDF, ExpandRank, and TopicalPageRank (TPR)

在这里插入图片描述

作者提到本模型的性能表现要全面优于使用了更多参数并且拥有更为复杂结构的TPR。同时要注意ExpandRank使用了额外的语义数据集。（2021.12.1补充：额外的语义数据集指的是借助nltk进行词性标记）

Simonsdu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
position-rank：PositionRank：从学术文献中提取关键词的无监督方法
02-03
PositionRank PositionRank是ACL 2017论文关键字方法中描述的关键字提取方法。 该方法通过基于图的算法来搜索关键词，并通过共生词的位置信息对PageRank进行偏置。 如果为其他语言创建令牌生成器，则不仅可以使用英语学术文档，还可以使用任何其他语言的文档。 >> > from position_rank import position_rank >> > from tokenizer import StanfordCoreNlpTokenizer >> > title = "PositionRank: An Unsupervised Approach to Ke
ProWord An Unsupervised Approach to Protocol FeatureWord Extraction
11-28
该论文提供一种自动化提取协议特征词的方法，并且给出了相应的评估体系。
PositionRank论文解读
qq_45041871的博客
09-13 469
PositionRank论文解读
【NLP】关键词提取之PositionRank详解
zkq_1986的博客
10-11 1744
PositionRank提取关键词与TextRank相似，都是基于PageRank的图关系计算词的得分。用S(V_i)表示词的重要性得分，其公式如下：                                                                                      （1） 其中，表示词的初始得分归一化后的值。              ...
关键词提取（keyword extraction）技术
BGoodHabit的博客
10-08 8775
目录1 统计方法（Statistical Method）1.1 TF1.2 TFIDF1.3 YAKE2 图方法（Graph Based Approaches）2.1 TextRank2.1.1 PageRank2.2 SingleRank2.3 TopicRank2.4 PositionRank3 语义模型（Semantic Models） 1 统计方法（Statistical Method） 基于统计方法的核心思想就是计算文本中每个term的分值，有了分值，就可以对所有的term进行排序，然后获取top
（二）PositionRank: An Unsupervised Approach to Keyphrase Extractionfrom Scholarly Documents解读一
Simonsdu的博客
10-10 344
2021SC@SDUSC
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
09-03
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
Unsupervised segmentation evaluation: an edge-based method
02-22
Unsupervised segmentation evaluation method quantifies the quality of segmentation without the reference segmentation or user assistance. Although some methods have been proposed to statistically ...
An Aspect-Based Unsupervised Approach for Classifying Non-Functional Requirements on Software Reviews
02-06
An Aspect-Based Unsupervised Approach for Classifying Non-Functional Requirements on Software Reviews
（三）Position Rank代码解读（一）
Simonsdu的博客
10-17 398
2021SC@SDUSC
（十三）将PositionRank模型运行到给定数据集上（四）
Simonsdu的博客
12-13 257
2021SC@SDUSC 文章目录简介词列表过滤算法算法修改去除对于单个词长度的限制正则表达式加入对中文的匹配指标计算算法 简介 在上一篇博客中提到，程序正常运行后得到的评分矩阵元素均为0，为了对中文打分需要对原程序的打分模块进行修改。 由于程序可以正常运行，因此可以对程序进行debug分析处理流程。 这里将可以得到评分矩阵的原程序（PositionRank）和针对中文修改算法后的新程序（PositionRank2）进行逐步debug对比： 当二者都执行完词列表过滤算法后结果如下： PositionRan
（八）PositionRank代码解读（三）
Simonsdu的博客
11-14 1306
2021SC@SDUSC 简介 本文将分析process_data数据处理模块。 read_input_file方法 该方法用于文件的读取，除了路径判断是否存在以外还需注意decode方法的第二个参数“ignore”，标识忽略无法解析的二进制编码，如果不忽略，遇到错误二进制编码时会报错。 def read_input_file(this_file): if os.path.exists(this_file): with codecs.open(this_file, "rb") as
PositionRank An Unsupervised Approach to Keyphrase Extraction from Scholarly Documents阅读笔记
Fitz的博客
02-17 551
PositionRank: An Unsupervised Approach to Keyphrase Extraction from Scholarly Documents阅读笔记 动机 通过观察发现，在此示例中，在文档中很早出现的关键短语“马尔可夫链”的高频出现（甚至从其标题开始）。 所以作者联合利用单词的位置信息及其在文档中的频率来设计一种有效的无监督方法来提取关键短语 贡献点 我们提出了一种无监督的基于图的模型，称为 PositionRank，它将来自单词出现的所有位置的信息合并到有偏差的 Pa
（十）将PositionRank模型运行到给定数据集上（二）
Simonsdu的博客
11-22 1254
2021SC@SDUSC 难点二：中文文本处理 文章目录难点二：中文文本处理任务分解关于nltk尝试使用jieba库进行中文处理使用StanfordNLP简介安装测试小结 任务分解 在positionrank中对于输入text的处理主要包括分句、分词、词干还原、词性确定，在迁移到中文中时，需要去除词干还原模块同时将其他模块的使用迁移到中文。 关于nltk 在源码分析时注意到nltk的很多方法都开源指定语言，然而在指定语言为chinese后发现提示找不到相关文件。 [外链图片转存失败,源站可能有防盗链机制,建
（四）在项目原数据集上运行Position Rank代码存在的问题
Simonsdu的博客
10-19 357
在原数据集上运行Position Rank代码存在的问题 2021SC@SDUSC 简介 在github上关于position rank的项目中提供了三个数据集，分别是“www”、”KDD“、”Nguyen“，本周的主要任务是在这三个数据集上跑通代码。目前存在的问题包括：1.数据集的读取方式未知。2.因实验室要求，将项目环境从python2修改为python3.7后部分库存在不兼容的情况。 根据python版本更新库函数 futures3.2.0 在安装futures3.2.0时，pip报错提示没有符合要求
基于TextRank提取关键词、关键短语、摘要
weixin_30300523的博客
02-23 570
一、TextRank原理 TextRank是一种用来做关键词提取的算法，也可以用于提取短语和自动摘要。因为TextRank是基于PageRank的，所以首先简要介绍下PageRank算法。 1. PageRank算法 　　PageRank设计之初是用于Google的网页排名的，以该公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关性和重要性，在搜索引擎优...
（十二）PositionRank代码解读（四）
Simonsdu的博客
12-12 829
2021SC@SDUSC 文章目录使用StandfordNlp替换nltk的相关方法存在的问题1解决方案存在的问题2 使用StandfordNlp替换nltk的相关方法 将nltk中的相关方法替换为nlp的相关方法，运行程序。 # 初始化standfordNlp from stanfordcorenlp import StanfordCoreNLP nlp = StanfordCoreNLP('http://localhost', port=9000,lang='zh') # 修改分句、词性标记的相关方法
（七）PositionRank代码分析（二）
Simonsdu的博客
11-13 998
2021SC@SDUSC 简介 本文主要分析核心模块PositionRank.py的使用. 初始化 # 生成图 self.graph = nx.Graph() """ The word graph. """ # window用于边的生成 self.window = window build_graph方法 该方法用于使用window窗口为graph添加边，代码分析如下： def build_graph(self, window, pos=None): """ 该方法
[NLP技术]关键词提取算法-TextRank
热门推荐
图解AI
09-05 1万+
关键词提取算法-TextRank　　今天要介绍的TextRank是一种用来做关键词提取的算法，也可以用于提取短语和自动摘要。因为TextRank是基于PageRank的，所以首先简要介绍下PageRank算法。1.PageRank算法　　PageRank设计之初是用于Google的网页排名的，以该公司创办人拉里·佩奇（Larry Page）之姓来命名。Google用它来体现网页的相关性和重要性，在搜
MG-BERT: leveraging unsupervised atomic representation learning for molecular property prediction预训练策略
最新发布
05-10
MG-BERT是一种用于分子属性预测的预训练模型，它是基于BERT的模型。它的预训练策略可以分为以下几步： 1. 原子嵌入：使用晶体学数据库（CSD）中的晶体结构数据，从中提取原子坐标并将其转换为原子嵌入表示。 2. 无监督原子表示学习：使用Transformer编码器，对原子嵌入进行无监督的原子表示学习。通过掩码语言建模任务（MLM）和下一句预测任务（NSP）来训练模型。 3. 有监督分子属性预测：使用已知的分子属性数据集，对MG-BERT进行有监督的微调。 在预训练阶段，MG-BERT使用了与BERT类似的预训练任务，例如掩码语言建模任务和下一句预测任务。这些任务的目的是让模型学习原子之间的关系和上下文信息。在微调阶段，MG-BERT使用已知的分子属性数据集进行有监督的微调，以预测分子的性质。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值