Hyperbolic Relevance Matching for Neural Keyphrase Extraction阅读笔记

最新推荐文章于 2024-11-07 18:48:12 发布
最新推荐文章于 2024-11-07 18:48:12 发布
阅读量419 收藏 2
点赞数
分类专栏： 文献阅读及实验复现 文章标签： 自然语言处理 keyphrase 关键词抽取 双曲空间
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fitz1318/article/details/124749525
版权

这是北京交通大学今年的关键词抽取新作，跳转了思路，通过将向量映射到双曲空间来获得隐含的关键词-文档之间的结构信息。

论文简单介绍

  • 题目 Hyperbolic Relevance Matching for Neural Keyphrase Extraction
  • 作者 Mingyang Song, Yi Feng and Liping Jing
  • 单位 北京交通大虚
  • 时间 2022
  • 会议 NAACL

动机

识别重要的关键短语是关键短语提取任务的核心组成部分，其主要挑战是如何全面表示信息并准确区分重要性

  • 信息表示
    • 通常，短语通常表现出固有的层次结构，其中包含复杂的句法和语义信息。如下图所示a large region of land比region有更复杂的固有结构
    • 除了短语，由于语言本体是内在的层次结构（Dai et al., 2020），短语和文档之间的概念关系也可以形成层次结构。因此，在表示短语和文档以及估计短语-文档相关性时，需要考虑层次结构。但是在欧式空间中难以捕获到这种结构信息
  • 重要性
    • 关键词通常用于检索和索引其对应的文档，因此它们应该与源文档的要点高度相关（Hasan and Ng，2014）。然而，大多数现有的监督关键短语提取方法都忽略了对短语与其对应文档之间的相关性进行显式建模，从而导致有偏差的关键短语提取
  • 解决思路
    • 基于上述两点问题，作者提出了hyperbolic relevance matching model（HyperMatch）做关键词抽取。
    • 首先，为了捕获分层句法和语义结构信息，HyperMatch 集成了 RoBERTa 的所有中间层中的隐藏表示，通过基于自注意机制的自适应混合层收集自适应上下文化词嵌入
    • 考虑隐藏在自然语言内容中的层次结构，HyperMatch 通过双曲短语编码器和双曲文档编码器在同一个双曲空间中对短语和文档进行编码
    • 同时，我们通过考虑短语和文档之间的潜在层次结构，采用庞加莱距离来计算短语-文档相关性。

在这里插入图片描述

模型

  • 首先是将单词送进RoBERTa得到每一层的隐藏向量，之后如下图所示，采用一个自适应混合层的自适应混合权重将每一层向量进行平均池化操作，之后转换到双曲空间中

  • 然后就是使用庞加莱距离来计算短语和文档的相似度

在这里插入图片描述
在这里插入图片描述

实验

实验结果

在这里插入图片描述

我的思考

  • 这篇文章的主要就是将向量由原来的欧式空间转换到双曲空间中，说是这样更能捕获关键词-文档的结构
  • 我感觉还是同一个思路。全局相似度：候选短语和文档的相似度；局部相似度：候选短语之间形成的一个个小主题。只是作者从表示空间那块动手处理这件事情。
  • 这里有一个不同的就是作者采用n-gram方法而不是nltk中的正则匹配。从理论上来说，会带来更多的语义重复问题。
    的就是作者采用n-gram方法而不是nltk中的正则匹配。从理论上来说，会带来更多的语义重复问题。
  • 作者的写作思路很清楚，顶会的文章阅读起来很舒服，写作逻辑和方式值得借鉴
Fitz1318
关注
专栏目录
CoDiM: Learning with Noisy Labels via Contrastive Semi-Supervised Learning 解读
weixin_61445075的博客
03-14 1454
Noisy label learning, semi-supervised learning, and contrastive learning are three different strategies for designing learning processes requiring less annotation cost.
欧式空间到双曲空间
weixin_33805992的博客
06-11 7683
摘要：表示学习（Representation Learning）是人工智能领域一直在探讨的话题，也是走向强人工智能的路上必须要解决的一道难题。目前为止，大多数表示学习方法停留在了欧式空间（Euclidean Space），但事实上除了简单的欧式空间，还存在很多其他的非欧式空间可以用来构建AI模型，并且我们也发现了近两年越来越多的学者也开始在这个领域做出了一些有意思的工作。在本文中，我们通俗易懂...
【论文阅读】基于层级关系的词向量：双曲空间词嵌入
热门推荐
一只热爱奔跑的程序猿
09-09 1万+
2. 背景: 庞加莱嵌入 Background: Poincare Embeddings 双曲几何是非欧空间中一类的负曲率空间 二维双曲线空间可以用单位圆盘(open unit disk)表示, 即所谓庞加莱圆盘(Poincare disk) 推广到多维空间圆盘模型就升级成庞加莱球 庞加莱球: {x∈Rn∣ ∣∣x∣∣<1}\{x∈R^n |\space||x||<1\}{x∈Rn∣ ∣∣x∣∣<1} 其中∣∣x∣∣||x||∣∣x∣∣是欧式距离 u,v两点距离:
软工案例分析之必应词典
weixin_30642267的博客
10-03 84
阅读完了《构建之法》的第8章和第12章，结合自己的调查把调研分析的结果展示如下： 一、调研评测： 　　很显然，我使用的方法是深入面谈和人类学调查的方式，能和高大上的人类学调查扯上关系也是因为我自己就是一位需要学习英语的用户。 其实我所调查的同学和我都是出于相似的需求，我们都需要阅读英文的论文，平时会有大量的生词，而且为了保持英语的阅读能力，平时还是要有意无意地强化一下英语单词的识记。这个便算...
Hyperbolic Graph Convolutional Neural Networks
Hello_word5的博客
11-19 5836
斯坦福出的，双曲空间上的GCN,有点抽象，但还是想啃啃。 原文地址：https://arxiv.org/abs/1910.12933v1 GCN将图上的节点映射到欧式空间，在映射无标度网络或分层结构时会失真，双曲几何提供了一个解决方案，因为它能保证有很小的失真。但是，将GCN扩展到双曲几何上有很多挑战，因为不清楚如何在双曲空间上定义神经网络算子，如特征转换和聚合。另外，由于输入特征通常是欧式空...
[NeurIPS 2018] Hyperbolic neural networks
连理o的博客
02-03 979
Hyperbolic neural networks
Hyperbolic Graph Neural Networks
weixin_40248634的博客
04-10 2892
HGNNs摘要贡献Hyperbolic Graph Neural Networks黎曼流形上的图神经网络 代码：https://github.com/facebookresearch/hgnn 补充知识： 双曲几何：将欧几里得的第五条公设——平行公设换成了 ：过直线外一点P至少可以找到两条相异的直线，与已知直线平行。 摘要 受几何表示学习最近进展的鼓舞，我们提出一个新的GNN架构，该架构用可微...
Hyperbolic Representation Learning for CV
连理o的博客
02-09 998
Hyperbolic Representation Learning for CV
Hyperbolic Neural Networks：Theory, Architectures and Application
04-27
然而，传统的欧几里得空间模型在处理具有层次结构的数据时可能面临挑战，这就是双曲神经网络（Hyperbolic Neural Networks，HNNs）的动机所在。 1. 双曲空间的动机： 双曲空间作为一种非欧几里得几何环境，特别适合...
Hyperbolic Deep Neural Networks A Survey.pdf
09-25
Hyperbolic Deep Neural Networks A Survey Hyperbolic Deep Neural Networks（hyperbolic neural networks）是近年来兴起的一种新型神经网络架构，旨在解决传统Euclidean空间中的模型容量问题。该架构可以在高维...
Hyperbolic Deep Neural Networks A Survey.zip
09-23
文章详细介绍了各种超双曲神经网络架构，包括超双曲卷积网络（Hyperbolic Convolutional Neural Networks, HCNNs）、超双曲循环神经网络（Hyperbolic Recurrent Neural Networks, HRNNs）和超双曲自注意力机制...
Dynamical Zeta Functions and Dynamical Determinants for Hyperbolic Maps
05-12
本书《Dynamical Zeta Functions and Dynamical Determinants for Hyperbolic Maps: A Functional Approach》由Viviane Baladi撰写，属于《Ergebnisse der Mathematik und ihrer Grenzgebiete》系列的第68卷，是一本...
Stability of Steady Solutions to Reaction-Hyperbolic Systems for Axonal Transport
12-29
反应双曲系统（reaction-hyperbolic systems）就是用于描述这类动态过程的一类偏微分方程组。在这类方程组中，通常包括了偏导数项，它反映了系统中物理量在时间和空间上的变化率。在本文中，研究者们考虑了反应双曲...
LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-07 1176
​ LLMs之LoLCATs：《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 目录 《LoLCATs: On Low-Rank Linearizing of Large Language Models》翻译与解读 Abstract 1 Introduction Conclusion Limitations and Future Work局限性和未来工作 《Lo
释放专利力量：Patently 如何利用向量搜索和 NLP 简化协作
Elastic 中国社区官方博客
11-06 1311
组织依靠知识产权 (IP) 来推动创新、保持竞争优势并创造收入来源。对于希望将新产品推向市场的公司来说，弄清楚谁拥有哪些专利是一项必不可少的能力。搜索数百万项专利可能既困难又耗时，与相关利益相关者共享信息是一项重大挑战。对于大型企业，尤其是那些拥有大量创新渠道的企业来说，了解专利组合每年可能需要数千小时的人工投入。进入，它使用尖端解决方案来改变发明者、知识产权专业人士、法律团队和高管对专利的看法。
浅谈语言模型推理框架 vLLM 0.6.0性能优化
Ucloud_TShare的博客
11-07 915
上优刻得AI推理平台，享极速推理体验！ 优刻得AI推理平台上线高性能推理服务框架vLLM，新版vLLM升级「服务推理进程分离」、「多步调度」、「异步输出处理」等机制，以降低CPU争抢开销、减少GPU空闲等待，并使得模型推理和输出处理异步进行。通过不断优化硬件资源利用率，让模型推理更高效。
Bert快速入门
qq_36070104的博客
11-06 1144
Python 语言 BERT 入门：让我们一起“吃透”BERT
思源笔记轻松连接本地Ollama大语言模型，开启AI写作新体验！
最新发布
Yawesh的博客
11-07 829
今天我们要聊聊如何通过cpolar内网穿透技术，把国产笔记软件思源和本地的大语言模型Ollama连接起来，轻松实现远程辅助写作。希望这篇文章能给你带来一些实用的启发，帮助你更高效地利用技术提升写作质量！现在，越来越多的小伙伴在工作和学习中都开始用笔记软件来管理知识和创作。而在这些软件中，思源笔记凭借其强大的编辑功能、灵活的整理方式和丰富的插件支持，成为了大家的心头好。不过，写作的时候，灵感和创意的激发往往需要大语言模型的助力。大语言模型可以根据海量文本数据生成高质量的内容，为你提供有价值的参考和启发。
Bert框架详解（上）
qq_61600833的博客
11-06 1028
语义编码：例如当我们翻译法语中的“abandon”时，我们大脑是先将abandon所表达的概念意识提取出来，这也就是一个编码的过程。然后提取出来的这个意识概念也就是我们的Feature Vector. 接下来我们的大脑就会基于这个意识概念，去我们大脑中的英语语言库中把与这个意识概念匹配的英文单词提取出来， 这也就是解码的过程。人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。前面的模型，并没有考虑词的顺序，只是单纯考虑一段话有哪些词。
Hyperbolic Neural Networks：理论、架构与应用探讨
《双曲神经网络：理论、架构与应用...该教程的资源材料可在<https://nurendra.me/hyperbolic-networks-tutorial/>获取，对于对双曲几何在神经网络中的应用感兴趣的科研人员和工程师来说，这是一个不容错过的学习资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值