AI推介-信息抽取（information extraction,IE）论文速览（arXiv方向）：2024.04.15-2024.06.01

1.GAMedX: Generative AI-based Medical Entity Data Extractor Using Large Language Models

标题:GAMedX：使用大型语言模型的基于人工智能的生成式医学实体数据提取器

author:Mohammed-Khalil Ghali, Abdelrahman Farrag, Hajar Sakai, Hicham El Baz, Yu Jin, Sarah Lam

date Time:2024-05-31

paper pdf:http://arxiv.org/pdf/2405.20585v1

摘要：
在快速发展的医疗保健及其他领域，将生成式人工智能集成到电子健康记录（EHR）中代表了一项关键的进步，解决了当前信息提取技术中的一个关键缺口。本文介绍了 GAMedX，这是一种命名实体识别（NER）方法，利用大语言模型（LLMs）从患者在医院就诊的各个阶段产生的医疗叙述和非结构化文本中有效地提取实体。通过应对处理非结构化医疗文本的重大挑战，GAMedX 利用生成式人工智能和大型语言模型的功能改进了数据提取。该方法采用统一的方法，将开源 LLMs 集成到 NER 中，利用链式提示和 Pydantic 模式进行结构化输出，从而驾驭复杂的专业医学术语。研究结果表明，在其中一个评估数据集上，ROUGE F1得分很高，准确率达到98%。这项创新增强了实体提取能力，为从非结构化数据中自动填写表格提供了一个可扩展、经济高效的解决方案。因此，GAMedX 简化了对非结构化叙述的处理，并为 NER 应用设定了新标准，为医学技术领域以外的理论和实践进步做出了重大贡献。

2.Retrieval Augmented Structured Generation: Business Document Information Extraction As Tool Use

标题:检索增强结构化生成：作为工具使用的商业文档信息提取

author:Franz Louis Cesista, Rui Aguiar, Jason Kim, Paolo Acilo

publish:Accepted by IEEE 7th International Conference on Multimedia
Information Processing and Retrieval (MIPR), 2024

date Time:2024-05-30

paper pdf:http://arxiv.org/pdf/2405.20245v1

摘要：
商业文档信息提取（BDIE）是将大量非结构化信息（原始文本、扫描文档等）转化为下游系统可以解析和使用的结构化格式的问题。它有两个主要任务：关键信息提取（KIE）和行项目识别（LIR）。在本文中，我们认为 BDIE 最好被建模为工具使用问题，其中的工具就是这些下游系统。然后，我们提出了检索增强结构化生成（RASG），这是一种用于 BDIE 的新型通用框架，它在 BDIE 基准上的 KIE 和 LIR 任务中都取得了最先进（SOTA）的结果。 本文有三方面的贡献：(1) 我们利用消融基准表明，在 BDIE 基准上，使用 RASG 的大型语言模型 (LLM) 已经可以与目前不使用 RASG 的 SOTA 大型多模态模型 (LMM) 相媲美，甚至更胜一筹。(2) 我们提出了一种新的行项目识别度量类别–通用行项目识别度量（GLIRM），与 ANLS*、DocILE 和 GriTS 等现有度量相比，它更符合实际的 BDIE 用例。(3) 我们提供了一种启发式算法，用于在不需要视觉编码器的情况下反算预测行项目和表格的边界框。最后，我们认为，虽然 LMM 有时可能会带来微不足道的性能优势，但考虑到 BDIE 的实际应用和限制因素，LMM + RASG 往往更胜一筹。

3.BioBERT-based Deep Learning and Merged ChemProt-DrugProt for Enhanced Biomedical Relation Extraction

标题:基于 BioBERT 的深度学习和合并 ChemProt-DrugProt 用于增强生物医学关系提取

author:Bridget T. McInnes, Jiawei Tang, Darshini Mahendran, Mai H. Nguyen

date Time:2024-05-28

paper pdf:http://arxiv.org/pdf/2405.18605v1

摘要：
本文介绍了一种从生物医学文本中加强关系提取的方法，尤其侧重于化学-基因相互作用。利用 BioBERT 模型和多层全连接网络架构，我们的方法采用新颖的合并策略整合了 ChemProt 和 DrugProt 数据集。通过广泛的实验，我们证明了性能的显著提高，特别是在数据集之间共享的 CPR 组中。研究结果强调了数据集合并在增加样本数量和提高模型准确性方面的重要性。此外，这项研究还凸显了自动信息提取在生物医学研究和临床实践中的潜力。

4.INDUS: Effective and Efficient Language Models for Scientific Applications

标题:INDUS：用于科学应用的高效语言模型

author:Bishwaranjan Bhattacharjee, Aashka Trivedi, Masayasu Muraoka, Muthukumaran Ramasubramanian, Takuma Udagawa, Iksha Gurung, Rong Zhang, Bharath Dandala, Rahul Ramachandran, Manil Maskey, Kaylin Bugbee, Mike Little, Elizabeth Fancher, Lauren Sanders, Sylvain Costes, Sergi Blanco-Cuaresma, Kelly Lockhart, Thomas Allen, Felix Grezes, Megan Ansdell, Alberto Accomazzi, Yousef El-Kurdi, Davis Wertheimer, Birgit Pfitzmann, Cesar Berrospi Ramis, Michele Dolfi, Rafael Teixeira de Lima, Panagiotis Vagenas, S. Karthik Mukkavilli, Peter Staar, Sanaz Vahidinia, Ryan McGranaghan, Armin Mehrabian, Tsendgar Lee

date Time:2024-05-17

paper pdf:http://arxiv.org/pdf/2405.10725v2

摘要：
使用通用领域语料库训练的大型语言模型（LLM）在自然语言处理（NLP）任务中表现出了卓越的性能。然而，之前的研究表明，使用领域重点语料库训练的 LLM 在专业任务中表现更好。受这一重要见解的启发，我们开发了 INDUS，这是一套为地球科学、生物学、物理学、太阳物理学、行星科学和天体物理学领域量身定制的综合 LLM，并使用从不同数据源中提取的科学语料进行训练。这套模型包括(1) 使用特定领域的词汇和语料库训练的编码器模型，用于处理自然语言理解任务；(2) 使用从多种来源提取的不同数据集训练的基于对比学习的通用文本嵌入模型，用于处理信息检索任务；(3) 使用知识提炼技术创建的这些模型的较小版本，用于处理有延迟或资源限制的应用。我们还创建了三个新的科学基准数据集，即 CLIMATE-CHANGE-NER（实体识别）、NASA-QA（抽取式 QA）和 NASA-IR（红外），以加速这些多学科领域的研究。最后，我们展示了我们的模型在这些新任务以及相关领域的现有基准任务上的表现优于通用编码器（RoBERTa）和现有的特定领域编码器（SciBERT）。

5.DEPTH: Discourse Education through Pre-Training Hierarchically

标题:深度：通过分层预培训开展话语教育

author:Zachary Bamberger, Ofek Glick, Chaim Baskin, Yonatan Belinkov

publish:28 pages, 10 figures, 8 tables

date Time:2024-05-13

paper pdf:http://arxiv.org/pdf/2405.07788v1

摘要：
语言模型（LMs）在话语层面的语言理解方面往往会遇到困难，即使在其预训练数据中普遍存在连贯性、内聚性和叙述流等话语模式。目前的方法只有在预训练阶段之后才能解决这些难题，依靠昂贵的人工标注数据来调整模型。为了在预训练阶段就提高 LM 的语篇能力，我们引入了 DEPTH，这是一种编码器-解码器模型，它利用面向语篇的预训练目标来学习表示句子。DEPTH 将分层句子表示法与两个目标相结合：(1) 句子解洗脱（Sentence Un-Shuffling）和(2) 跨度中断（Span-Corruption）。这种方法可以在海量的非结构化文本中训练模型来表示子词级和句子级的依赖关系。无论是从头开始训练，还是从预先训练好的 T5 检查点继续训练，DEPTH 学习语义和语篇级表征的速度都比 T5 快，在跨度中断损失方面的表现也优于 T5，尽管它还有额外的句子解压缩目标。对 GLUE、DiscoEval 和 NI 基准的评估表明，DEPTH 能够快速学习各种下游任务，这些任务需要句法、语义和话语能力。总之，我们的方法扩展了 T5 的语篇能力，同时对由此产生的 LM 中的其他自然语言理解 (NLU) 能力影响最小。

6.ADELIE: Aligning Large Language Models on Information Extraction

标题:ADELIE：在信息提取中对齐大型语言模型

author:Yunjia Qi, Hao Peng, Xiaozhi Wang, Bin Xu, Lei Hou, Juanzi Li

date Time:2024-05-08

paper pdf:http://arxiv.org/pdf/2405.05008v1

摘要：
大型语言模型（LLMs）通常在信息提取（IE）任务中表现不佳，难以遵循 IE 任务的复杂指令。这主要是由于 LLM 没有与人类对齐，因为主流对齐数据集通常不包括 IE 数据。在本文中，我们介绍了ADELIE（Aligning large language moDELs on Information Extraction），一种能有效解决各种IE任务（包括封闭式IE、开放式IE和按需IE）的对齐LLM。我们首先收集并构建了一个高质量的 IE 对齐语料库 IEInstruct，用于 IE。然后，我们在 IEInstruct 上使用指令调整训练 ADELIE_SFT。我们进一步用直接偏好优化（DPO）目标训练 ADELIE_SFT，得到 ADELIE_DPO。在各种被搁置的 IE 数据集上进行的广泛实验表明，我们的模型（ADELIE_SFT 和 ADELIE_DPO）在开源模型中达到了最先进（SoTA）的性能。我们进一步探索了 ADELIE 的一般能力，实验结果表明它们的一般能力并没有出现明显的下降。我们将发布代码、数据和模型，以促进进一步的研究。

7.P-ICL: Point In-Context Learning for Named Entity Recognition with Large Language Models

标题:P-ICL：利用大型语言模型进行命名实体识别的点式上下文学习

author:Guochao Jiang, Zepeng Ding, Yuchen Shi, Deqing Yang

date Time:2024-05-08

paper pdf:http://arxiv.org/pdf/2405.04960v2

摘要：
近年来，大型语言模型（LLM）的兴起使得通过上下文学习（ICL），在没有任何示范样本或仅使用少量样本的情况下直接实现命名实体识别（NER）成为可能。然而，标准的 ICL 只能帮助 LLM 理解任务指令、格式和输入标签映射，却忽视了 NER 任务本身的特殊性。在本文中，我们提出了一种新的提示框架 P-ICL，以更好地利用 LLM 实现 NER，其中一些点实体被用作识别每种实体类型的辅助信息。有了这些重要信息，LLM 可以更精确地实现实体分类。为了获得最佳的点实体来提示 LLM，我们还提出了一种基于 K-Means 聚类的点实体选择方法。我们在一些有代表性的 NER 基准上进行了大量实验，验证了我们提出的 P-ICL 和点实体选择策略的有效性。

8.CleanGraph: Human-in-the-loop Knowledge Graph Refinement and Completion

标题:CleanGraph：人在回路中的知识图谱完善和补全

author:Tyler Bikaun, Michael Stewart, Wei Liu

date Time:2024-05-07

paper pdf:http://arxiv.org/pdf/2405.03932v2

摘要：
本文介绍的 CleanGraph 是一种基于网络的交互式工具，旨在促进知识图谱的完善和完成。知识图谱以高质量和无差错的事实为基础，保持知识图谱的可靠性对于问题解答和信息检索系统等现实世界的应用至关重要。这些图通常是通过信息提取法提取语义三元组，从文本资源中自动组装而成的。然而，确保这些提取的三元组的质量，尤其是在处理大型或低质量数据集时，可能会带来巨大的挑战，并对下游应用程序的性能产生不利影响。CleanGraph允许用户对其图形执行创建、读取、更新和删除（CRUD）操作，并以插件的形式将模型应用于图形细化和完成任务。这些功能使用户能够增强其图形数据的完整性和可靠性。CleanGraph的演示及其源代码可在MIT许可下访问https://github.com/nlp-tlp/CleanGraph。

9.A Two-Stage Prediction-Aware Contrastive Learning Framework for Multi-Intent NLU

标题:面向多实体 NLU 的两阶段预测感知对比学习框架

author:Guanhua Chen, Yutong Yao, Derek F. Wong, Lidia S. Chao

publish:LREC-COLING 2024

date Time:2024-05-05

paper pdf:http://arxiv.org/pdf/2405.02925v1

摘要：
多意图自然语言理解（NLU）是一项艰巨的挑战，因为单个语句中的多个意图会造成模型混乱。虽然以前的工作通过对比训练模型来增加不同多意图标签之间的余量，但它们不太适合多意图自然语言理解的细微差别。它们忽略了共享意图之间的丰富信息，而这些信息有利于构建更好的嵌入空间，尤其是在低数据场景中。我们为多意图 NLU 引入了两阶段预测感知对比学习（PACL）框架，以利用这些宝贵的知识。我们的方法通过整合词级预训练和预测感知对比微调，充分利用了共享的意图信息。我们使用词级数据增强策略构建了一个预训练数据集。随后，我们的框架会在对比度微调过程中动态地为实例分配角色，同时引入预测感知对比度损失，以最大限度地提高对比度学习的效果。我们介绍了在三个广泛使用的数据集上进行的实验结果和实证分析，证明我们的方法在低数据和全数据场景下的性能都超过了三个著名的基线方法。

10.Astro-NER – Astronomy Named Entity Recognition: Is GPT a Good Domain Expert Annotator?

标题:Astro-NER – 天文命名实体识别：GPT 是一个好的领域专家注释器吗？

author:Julia Evans, Sameer Sadruddin, Jennifer D’Souza

publish:9 pages

date Time:2024-05-04

paper pdf:http://arxiv.org/pdf/2405.02602v1

摘要：
在本研究中，我们解决了为学术领域开发 NER 模型所面临的挑战之一，即缺少合适的标注数据。我们试验了一种方法，利用微调 LLM 模型的预测来帮助非领域专家注释天文学文献中的科学实体，目的是揭示这种协作过程是否能接近领域专业知识。我们的结果表明，领域专家与 LLM 辅助的非专家之间的一致性适中，领域专家与 LLM 模型的预测之间的一致性尚可。在另一项实验中，我们比较了经过微调的 LLM 和默认 LLM 在这项任务中的表现。我们还为天文学引入了专门的科学实体注释方案，并由领域专家进行了验证。我们的方法采用了以学术研究贡献为中心的视角，只关注与研究主题相关的科学实体。由此产生的数据集包含 5,000 个注释的天文学文章标题，并已公开发布。

11.Enhancing Language Models for Financial Relation Extraction with Named Entities and Part-of-Speech

标题:利用命名实体和部分语音增强金融关系提取的语言模型

author:Menglin Li, Kwan Hui Lim

publish:Accepted to ICLR 2024 Tiny Paper Track

date Time:2024-05-02

paper pdf:http://arxiv.org/pdf/2405.06665v1

摘要：
财务关系提取（FinRE）任务涉及在给定的财务报表/文本中识别实体及其关系。为了解决 FinRE 问题，我们提出了一种简单而有效的策略，通过增强命名实体识别（NER）和语音部分识别（POS）以及结合这些信息的不同方法来提高预训练语言模型的性能。在金融关系数据集上进行的实验显示了良好的结果，并突出了在现有模型中加入 NER 和 POS 的好处。我们的数据集和代码见 https://github.com/kwanhui/FinRelExtract。

12.Mix of Experts Language Model for Named Entity Recognition

标题:混合专家语言模型用于命名实体识别

author:Xinwei Chen, Kun Li, Tianyou Song, Jiangjian Guo

date Time:2024-04-30

paper pdf:http://arxiv.org/pdf/2404.19192v1

摘要：
命名实体识别（NER）是自然语言处理领域的一块重要基石。尽管各种远距离监督模型已经取得了可喜的成绩，但我们认为，远距离监督不可避免地会引入不完整和有噪声的注释，这可能会误导模型的训练过程。为了解决这个问题，我们提出了一种基于专家混合（MoE）的鲁棒性 NER 模型，名为 BOND-MoE。在期望最大化（EM）框架下，我们不依赖单一模型进行 NER 预测，而是训练多个模型并将其组合在一起，从而极大地减少了噪声监督。此外，我们还引入了一个公平分配模块，以平衡文档-模型分配过程。在实际数据集上的广泛实验表明，与其他远距离监督 NER 相比，所提出的方法达到了最先进的性能。

13.A Unified Label-Aware Contrastive Learning Framework for Few-Shot Named Entity Recognition

标题:用于少量命名实体识别的统一标签感知对比学习框架

author:Haojie Zhang, Yimeng Zhuang

date Time:2024-04-26

paper pdf:http://arxiv.org/pdf/2404.17178v2

摘要：
少量命名实体识别（NER）旨在仅使用有限数量的标记示例提取命名实体。现有的对比学习方法通常都存在上下文向量表示可区分性不足的问题，因为它们要么完全依赖于标签语义，要么完全无视标签语义。为了解决这个问题，我们提出了一个统一的标签感知标记级对比学习框架。我们的方法利用标签语义作为后缀提示来丰富语境。在各种传统测试域（OntoNotes、CoNLL’03、WNUT’17、GUM、I2B2）和大规模少量 NER 数据集（FEWNERD）上的广泛实验证明了我们方法的有效性。它的性能大大优于先前的先进模型，在大多数情况下，微观 F1 分数的平均绝对增益为 7%。进一步的分析表明，我们的模型得益于其强大的转移能力和改进的上下文表征。

14.2M-NER: Contrastive Learning for Multilingual and Multimodal NER with Language and Modal Fusion

标题:2M-NER：多语言和多模态 NER 的对比学习与语言和模态融合

author:Dongsheng Wang, Xiaoqin Feng, Zeming Liu, Chuan Wang

publish:20 pages

date Time:2024-04-26

paper pdf:http://arxiv.org/pdf/2404.17122v1

摘要：
命名实体识别（NER）是自然语言处理中的一项基本任务，涉及将句子中的实体识别并分类为预定义的类型。它在实体链接、问题解答和在线产品推荐等多个研究领域发挥着至关重要的作用。最近的研究表明，结合多语言和多模态数据集可以提高 NER 的效率。这是由于语言迁移学习和不同模态之间存在共享的隐含特征。然而，由于缺乏将多语言和多模态结合起来的数据集，阻碍了对这两方面结合的研究，因为多模态可以同时帮助多种语言的 NER。在本文中，考虑到多语言和多模态命名实体识别（MMNER）的潜在价值和影响，我们旨在解决一项更具挑战性的任务：多语言和多模态命名实体识别。具体来说，我们构建了一个包含四种语言（英语、法语、德语和西班牙语）和两种模式（文本和图像）的大规模 MMNER 数据集。为了在该数据集上完成这项具有挑战性的 MMNER 任务，我们引入了一个名为 2M-NER 的新模型，该模型利用对比学习对齐文本和图像表征，并集成了一个多模态协作模块，以有效描述两种模态之间的交互。广泛的实验结果表明，与一些具有代表性的比较基线相比，我们的模型在多语言和多模态 NER 任务中取得了最高的 F1 分数。此外，在一项具有挑战性的分析中，我们发现句子级对齐对 NER 模型干扰很大，这表明我们的数据集难度更高。

15.Text-Tuple-Table: Towards Information Integration in Text-to-Table Generation via Global Tuple Extraction

标题:文本元组表：通过全局元组提取实现文本到表格生成中的信息整合

author:Zheye Deng, Chunkit Chan, Weiqi Wang, Yuxi Sun, Wei Fan, Tianshi Zheng, Yauwai Yim, Yangqiu Song

date Time:2024-04-22

paper pdf:http://arxiv.org/pdf/2404.14215v1

摘要：
最近，由于大语言模型（LLM）的出现及其对文本摘要和文本挖掘等下游任务的潜在益处，将大段文本信息浓缩成简洁而结构化的表格的任务越来越受到关注。以前的方法生成的表格通常直接复制文本信息，这限制了它们在更广泛的环境中的适用性，因为在现实生活场景中，从文本到表格的生成需要信息提取、推理和整合。然而，目前还缺乏针对这一任务的数据集和方法。在本文中，我们介绍了 LiveSum，这是一个新的基准数据集，用于根据实时评论文本生成比赛汇总表。我们评估了最先进的 LLM 在微调和零点设置下的性能，并提出了一种名为 $T^3$（Text-Tuple-Table）的新方法来提高它们的性能。广泛的实验结果表明，即使进行了微调，LLMs 在完成这项任务时仍然很吃力，而我们的方法无需明确的训练就能大幅提高性能。进一步的分析表明，我们的方法具有很强的泛化能力，在其他几个文本到表格的数据集上超越了以前的方法。我们的代码和数据可在 https://github.com/HKUST-KnowComp/LiveSum-TTT 上找到。

16.Retrieval-Augmented Generation-based Relation Extraction

标题:基于检索-增强生成的关系提取

author:Sefika Efeoglu, Adrian Paschke

publish:Submitted to Semantic Web Journal. Under Review

date Time:2024-04-20

paper pdf:http://arxiv.org/pdf/2404.13397v1

摘要：
信息提取（IE）是一种转换过程，通过采用实体和关系提取（RE）方法，将非结构化文本数据转换为结构化格式。在这一框架中，识别一对实体之间的关系起着至关重要的作用。尽管存在各种关系提取技术，但它们的功效在很大程度上依赖于对标记数据和大量计算资源的访问。在应对这些挑战时，大语言模型（LLMs）是一种很有前途的解决方案；然而，由于其自身的训练数据，它们可能会返回幻觉式的回复。为了克服这些局限性，本文提出了基于检索增强生成的关系提取（RAG4RE），为提高关系提取任务的性能提供了一条途径。 本研究利用不同的 LLM 评估了 RAG4RE 方法的有效性。通过利用已建立的基准，如 TACRED、TACREV、Re-TACRED 和 SemEval RE 数据集，我们的目标是全面评估 RAG4RE 方法的有效性。特别是，我们在研究中利用了著名的 LLM，包括 Flan T5、Llama2 和 Mistral。研究结果表明，我们的 RAG4RE 方法超越了仅基于 LLMs 的传统 RE 方法的性能，这在 TACRED 数据集及其变体中尤为明显。此外，在 TACRED 和 TACREV 数据集上，与以前的 RE 方法相比，我们的方法表现出了卓越的性能，这凸显了它在推进自然语言处理中的 RE 任务方面的功效和潜力。

17.REXEL: An End-to-end Model for Document-Level Relation Extraction and Entity Linking

标题:REXEL：用于文档级关系提取和实体链接的端到端模型

author:Nacime Bouziani, Shubhi Tyagi, Joseph Fisher, Jens Lehmann, Andrea Pierleoni

publish:Accepted at NAACL Industry Track 2024

date Time:2024-04-19

paper pdf:http://arxiv.org/pdf/2404.12788v1

摘要：
从非结构化文本中提取结构化信息对许多下游 NLP 应用至关重要，传统上是通过封闭式信息提取（cIE）来实现的。然而，现有的封闭式信息提取方法有两个局限性：(i) 它们通常是管道式的，容易产生错误传播，和/或 (ii) 它们仅限于句子级别，无法捕捉长程依赖关系，导致推理时间昂贵。为了解决这些局限性，我们提出了 REXEL，这是一种高效、准确的模型，可用于文档级 cIE（DocIE）的联合任务。REXEL 可在一次前向传递中执行提及检测、实体键入、实体消歧、核心参照解析和文档级关系分类，以生成与参考知识图谱完全关联的事实。在类似情况下，它比现有的竞争方法平均快 11 倍，而且在对任何单个子任务和不同联合任务的各种组合进行优化时，它的性能都很有竞争力，平均超过基准线 6 个 F1 点以上。速度与准确性的完美结合使 REXEL 成为在网络规模上提取结构化信息的高性价比系统。我们还发布了 DocRED 数据集的扩展，以便为今后在 DocIE 上开展的工作提供基准，该数据集可在 https://github.com/amazon-science/e2e-docie 上查阅。

18.Few-shot Name Entity Recognition on StackOverflow

标题:StackOverflow 上的少量名称实体识别

author:Xinwei Chen, Kun Li, Tianyou Song, Jiangjian Guo

publish:5 pages

date Time:2024-04-15

paper pdf:http://arxiv.org/pdf/2404.09405v2

摘要：
StackOverflow 拥有庞大的问题库和有限的标注示例，这给我们带来了注释方面的挑战。为了弥补这一不足，我们提出了 RoBERTa+MAML，这是一种利用元学习的少量命名实体识别（NER）方法。我们的方法在 StackOverflow NER 语料库（27 种实体类型）上进行了评估，与基线相比，F1 分数提高了 5%。我们还进一步改进了特定领域短语处理的结果。