【无监督短语抽取】SIFRank论文详读

最新推荐文章于 2024-06-25 00:19:59 发布
最新推荐文章于 2024-06-25 00:19:59 发布
阅读量1.1k 收藏
点赞数
分类专栏： 文本抽取 nlp 文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skying159/article/details/126952152
版权

SIFRank: A New Baseline for Unsupervised

Keyphrase Extraction Based on Pre-Trained
Language Model

Reading Date: September 19, 2022
Type: Thesis

论文：https://ieeexplore.ieee.org/document/8954611

项目：https://github.com/yukuotc/SIFRank_zh

SIFRank: 一个基于预训练模型的无监督关键词抽取的模型

它由两部分组成：句向量模型SIF和自回归预训练模型ELMO。

在短文本中它表现优异。

document segmentation和contextual word embeddings alignment在保证accuracy的前提下加速了SIFRank。

我们用position-biased weight升级SIFRank to SIFRank+，极大地提高了在长文本中的表现。

传统无监督方法

  • 基于统计信息
    • 基于n-gram，语法，词频等
  • 基于图
    • 例：textrank

SIFRank模型

在这里插入图片描述

  1. document进行分词和词性标注
  2. 提取其中的noun phrases
  3. 利用ELMO得到字向量和NP向量
  4. 利用SIF模型将字向量和NP向量投影成同一层、同一维度的向量
  5. 计算两个向量间的cos相似度，选择top n作为最后keyphrases，同时也可以得到分数

SIF模型

选择SIF作为sentence embedding model的原因是

  1. 它适配大部分预训练模型
  2. 通过SIF模型得到的句向量可以很好地反应document的主题

在这里插入图片描述

Model Domain Adaption

在这里插入图片描述

weight_com是提前在大型语料里统计的词频。weight_dom则是在垂直领域上的统计词频。

Document Segmentation

把文章输入ELMO之前，先将文章分块，这样可以并行独立运算。

在这里插入图片描述

Embedding Alignment

因为文章分块后，丢失了完整的上下文信息，这里用了EA方法进行保留。

在这里插入图片描述

SIFRank+

POSITION-BIASED WEIGHT FOR LONG DOCUMENTS

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

尽量不躺平的kayla
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于语义扩展模型的中文网页关键词抽取 (2012年)
06-14
提出一种基于语义扩展模型、分步骤的无监督关键词抽取方法。选择词语的网页结构特征、词性、词长、TF-IDF 值等特征，通过聚类算法抽取候选关键词。根据n-gram 语言模型理论，引入邻接变化数等特征构建基于词的语义扩展模型，采用无监督方法将候选关键词扩展为关键词串。实验结果表明，该方法能有效改善针对未登录词及短语的抽取结果，提高中文网页关键词抽取结果的质量。
基于规则的英语名词短语结构自动识别研究 (2013年)
06-13
名词短语是英语句子的核心组成部分，然而不同名词短语类型的结构用法及其在句子中成分的复杂性一直困扰着英语的机器识别技术。本文以人民日报语料库(1998年)为基础，探讨了基于规则的英语名词短语结构用法、搭配中心词归类算法、词性与语义搭配模式抽取算法，揭示了名词短语类型与其在句子中所作成分的关系，明显地提高了名词短语识别精度。
SIFRank New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model
qq_45041871的博客
09-28 483
SIFRank关键词抽取算法解读
NLP实践——基于SIFRank的英文关键短语抽取
weixin_44826203的博客
11-21 2377
NLP实践——基于SIFRank的英文关键短语抽取1. 回顾2. 英文关键词抽取2.1 预训练词汇权重2.2 分词/词性标注模型2.3 候选短语抽取模型2.4 编码模型 1. 回顾 之前的文章中介绍了如何用SIFRank进行中文的关键词抽取： https://blog.csdn.net/weixin_44826203/article/details/121144724 有读者问到是否可以用来做英文，答案是肯定的，SIFRank原本就是做英文的，自然可以采用类似的方法进行改写，使之可以适用于英文。所以这篇文章
NLP实践——基于SIFRank的中文关键短语抽取
weixin_44826203的博客
11-08 6625
NLP实践——基于SIFRank的中文关键短语抽取0. 本文介绍1. 运行环境2. 项目目录3. 代码实现3.1 utils3.2 初始化各类组件3.2.1 标点和停用词3.2.2 预训练词汇权重 0. 本文介绍 本文在《SIFRank: A New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language Model》的基础上，借鉴原作者的思想，重写实现了一个好用的中文关键短语抽取工具。 首先声明一下，这篇论文
SIFRank_zh与关键词提取
ox180x的博客
01-12 941
介绍本文尝试从几个方面来介绍提取关键词所知的技术，以及关键词提取所遇到的问题，接着介绍SIFRank-zh算法，最后穿插下个人的理解与总结。 关键词提取技术刚开始接触这个概念的时候，网上一大堆介绍TF-IDF和TextRank算法，这俩简直已经称为了关键词提取的baseline。关于TF-IDF，的确在许多文档中已经作为了baseline来和其他技术相对比，是一种简...
SIFRank:我们论文的代码“ SIFRank
05-04
SIFRank 我们的论文代码 版本说明 2020/02 / 21—— Initial version提供最基本的功能。 2020/02 / 28—— Second version增加了新算法DS （文档分割）和EA （嵌入对齐），以speed up SIFRank和SIFRank +的speed up 。 2020/03/02 - Third version SIFRank +的变化不大./model/method.py有关使position_score的一个简单的正常化。 环境 Python 3.6 nltk 3.4.3 StanfordCoreNLP 3.9.1.1 torch 1.1.0 allennlp 0.8.4 下载 从ELMo elmo_2x4096_512_2048cnn_2xhighway_options.json和elmo_2x4096_512_2048cnn_
YOLVO 论文，YOLOv7来临：论文详读和解析.rar
04-23
YOLVO 论文，YOLOv7来临：论文详读和解析 YOLVO 论文，YOLOv7来临：论文详读和解析 YOLVO 论文，YOLOv7来临：论文详读和解析 YOLVO 论文，YOLOv7来临：论文详读和解析 YOLVO 论文，YOLOv7来临：论文详读和解析 ...
硕士论文详读_基于物联网的供热云服务监管平台研究.pdf
11-20
采用物联网技术可以覆盖和感知辖区内的供热系统的各个环节，经由粗到细和由表及里的数据挖掘处理，通过人机互助和“云服务”并结合工艺控制要求实现人机智能共生。为各个层次的专家搭建高效工作平台和切入窗口，对...
期刊论文详读_基于数据挖掘的煤电机组能效特征指标及其基准值的研究_徐婧.pdf
11-20
采用K 均值算法对多特征参数进行聚类划分并确定其基准值；结合广义回归神经网络，预测供电煤耗在基准工况下的目标值；对离散基准值样本点进行样条插值，建立机组全工况下的动态基准值工况库。最后，选取某超超临界...
SIFRank_zh:基于预训练模型的中文关键词提取方法（论文SIFRank
03-21
SIFRank_zh 这是我们论文的相关代码原文是在对英文关键短语进行抽取，这里迁移到中文上，部分管道进行了改动英文原版在。。 版本介绍 2020/03 / 03——最初最初版本本版本中只包含了最基本的功能，部分细节还有待优化和扩展。 核心算法 预训练模型ELMo +句向量模型SIF 词向量ELMo优势：1）通过大规模预训练，较早的TFIDF，TextRank等基于统计和图的具有更多的语义信息； 2）ELMo是动态的，可以改善一词多义问题； 3）ELMo通过Char -CNN编码，对生隐词非常友好； 4）不同层的ELMo可以捕捉不同层次的信息 句子矢量SIF优势：1）根据词频对词向量进行平滑逆频率变换，能更好地捕捉句子的中心话题； 2）更好地过滤通用词 最终关键焦点识别 首先对句子进行分词和词性标注，再利用正则表达式确定确定名词短语（例如：形容词+名词），将名词作为前缀关键字 最终关键利率
基于ELMo词向量的textCNN中文文本分类python代码
06-22
基于ELMo词向量的textCNN中文文本分类python代码，ELMo是基于哈工大的HIT-SCIR/ELMoForManyLangs，文本分类代码是基于keras的，有数据有模型有代码。
vue ssr 指南详读
08-27
Vue SSR 指南详读 Vue SSR（Server-Side Rendering）是一种服务端渲染技术，允许开发者使用 Vue.js 构建客户端应用程序，并将其渲染为服务器端的 HTML 字符串，直接发送到浏览器。这种技术可以提高应用程序的 SEO ...
关键词抽取
qq_47537678的博客
06-08 374
SIFRank关键词抽取
文档布局分析之dhSegment
年轻即出发，
12-06 2017
论文：dhSegment: A generic deep-learning approach for document segmentation Github：https://github.com/dhlab-epfl/dhSegment   ICFHR 2018 论文主要基于U-net类型的网络，分别进行page extraction，baseline extraction，layout...
『论文阅读』SIF：一种简单却难以打败的句子嵌入方法
酒狂的博客
04-08 5399
SIF平滑逆频率论文阅读笔记。计算句子中单词向量的加权平均值，然后删除平均向量在其第一个主成分上的投影（“公共成分去除”）。
医疗搜索中的query词权重算法探索
zenRRan的博客
05-22 1098
点击下面卡片，关注我呀，每天给你送来AI技术干货！来自：丁香园大数据前言计算query词权重（术语权重，也称作Term Necessity，Query Term Weight）是IR研究中...
基于深度学习的点云包围盒检测
最新发布
weixin_42605076的博客
06-25 903
基于深度学习的点云包围盒检测方法通过PointNet、VoxelNet、SECOND、PointRCNN、PV-RCNN等先进网络架构，实现了对三维物体的高效检测和定位。随着深度学习技术的发展，这些方法在自动驾驶、机器人导航、工业检测等多个领域展现了强大的应用潜力，推动了三维视觉技术的发展和应用。掌握和应用这些方法，有助于开发更加智能和高效的三维视觉系统。
python抽取事件建模
10-04
Python是一种强大的编程语言，它可以用于抽取事件并进行建模。在Python中，我们可以使用各种库和工具来实现事件抽取和建模的任务。 首先，我们可以使用自然语言处理（NLP）库，如NLTK或SpaCy，来处理文本数据。这些库提供了各种功能，包括分词、词性标注和命名实体识别等。通过使用这些功能，我们可以将原始文本分解成句子、单词和短语，帮助我们更好地理解和处理文本。 接下来，我们可以使用机器学习算法来训练一个事件抽取模型。Python中有多个机器学习库可供选择，如scikit-learn和TensorFlow等。我们可以使用这些库来训练一个事件抽取模型，该模型可以从给定的文本中自动提取出事件。 在训练事件抽取模型时，我们需要标记一些样本数据，以便算法可以学习如何识别和提取事件。通过标记一些文本样本，我们可以将文本中的事件和相应的参数标注出来，以便模型能够从未标记的文本中识别和提取出类似的事件。 最后，一旦我们训练好了事件抽取模型，我们可以将其应用于新的文本数据，以自动提取出事件和参数。通过使用Python中的各种文本处理和机器学习库，我们可以轻松地从大量的文本数据中提取出事件，从而对文本数据进行建模和分析。 总的来说，Python提供了强大的工具和库来实现事件抽取和建模。通过使用自然语言处理和机器学习技术，我们可以从文本数据中自动抽取出事件，并据此进行进一步的分析和建模。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值