![](https://img-blog.csdnimg.cn/direct/1a48eb3b026341f0bae37a274d1a53e6.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
论文合集
文章平均质量分 93
研读论文
三月七꧁ ꧂
尚未佩妥剑,转眼便江湖。愿历尽千帆,归来仍少年! 跨考计算机上岸,下一站:月薪3W!
展开
-
ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning
逻辑规则对于揭示关系之间的逻辑联系至关重要,这可以提高推理性能并在知识图谱(KG)上提供可解释的结果。尽管人们已经做出了许多努力来挖掘知识图谱上有意义的逻辑规则,但现有的方法存在对规则空间的计算密集型搜索以及缺乏大规模知识图谱的可扩展性的问题。此外,他们经常忽略关系的语义,而这对于揭示逻辑联系至关重要。近年来,大型语言模型(LLM)由于其新兴能力和泛化性,在自然语言处理和各种应用领域表现出了令人印象深刻的性能。原创 2024-07-20 20:54:04 · 1337 阅读 · 0 评论 -
GOLLIE : ANNOTATION GUIDELINES IMPROVE ZERO-SHOT INFORMATION-EXTRACTION
大型语言模型 (LLM) 与指令调优相结合,在泛化到未见过的任务时取得了重大进展。然而,它们在信息提取(IE)方面不太成功,落后于特定任务模型。通常,IE 任务的特点是复杂的注释指南,这些指南描述任务并向人类提供示例。以前利用此类信息的尝试都失败了,即使是最大的模型也是如此,因为它们无法遵循开箱即用的指南。在本文中,我们提出了 GoLLIE(IE 大型语言模型指南),该模型能够通过微调以符合注释指南,从而改进未见过的 IE 任务的零样本结果。原创 2024-07-20 20:35:33 · 732 阅读 · 0 评论 -
TECHGPT-2.0: A LARGE LANGUAGE MODEL PROJECT TO SOLVE THE TASK OF KNOWLEDGE GRAPH CONSTRUCTION
大型语言模型在不同的自然语言处理任务中表现出强大的性能。本报告介绍了TechGPT-2.0项目,该项目旨在增强大型语言模型在知识图谱构建任务中的能力,包括NLP应用中的命名实体识别(NER)和关系三重提取(RTE)任务。此外,它还可以作为中国开源模型社区研究的法学硕士。我们提供了两个7B大型语言模型权重和一个专门用于处理冗长文本的QLoRA权重。值得注意的是,TechGPT-2.0是在华为Ascend服务器上进行培训的。原创 2024-07-10 21:08:43 · 1114 阅读 · 0 评论 -
基于 BERT 的非结构化领域文本知识抽取
随着知识图谱技术的发展和商业应用的普及,从各类非结构化领域文本中提取出知识图谱实体及关系数据的需求日益增加。这使得针对领域文本的自动化知识抽取颇有意义。本文提出了一种基于 BERT 的知识抽取方法,用于从非结构化的特定领域文本(例如保险行业的保险条款)中自动抽取知识点,以达到在构建知识图谱的过程中节约人力的目的。原创 2024-07-10 20:42:59 · 876 阅读 · 0 评论 -
大语言模型融合知识图谱的问答系统研究
问答系统(Question Answering,QA)能够自动回答用户提出的自然语言问题,是信息检索和自然语言处理的交叉研究方向,将知识图谱(Knowledge Graph,KG)与问答系统融合,正确理解用户语义是一大挑战。虽然知识图谱问答能够通过对问题进行分析理解,最终获取答案,但面对自然语言的灵活性与模糊性,如何处理复杂问题的语义信息、如何提高复杂推理问答的高效性仍是研究难点。原创 2024-07-04 19:42:27 · 866 阅读 · 0 评论 -
FOODGPT: A LARGE LANGUAGE MODEL IN FOOD TESTING DOMAIN WITH INCREMENTAL PRE-TRAINING AND KNOW...
目前,特定领域的大型语言模型的构建是通过在基础模型上进行微调来完成的。有些模型还包含知识库,无需预先训练。这是因为基础模型在预训练过程中已经包含了特定领域的知识。我们构建了一个用于食品测试的大语言模型。与上述方法不同,该域中的大量数据以域标准文档的扫描格式存在。此外,还存在大量未经训练的结构化知识。因此,我们引入了增量预训练步骤,将这些知识注入到大语言模型中。在本文中,我们提出了一种在增量预训练中处理结构化知识和扫描文档的方法。原创 2024-07-04 17:15:13 · 1052 阅读 · 0 评论 -
Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering
尽管大型语言模型(LLMs)在知识密集型任务中表现出色,但在记忆所有世界知识尤其是长尾知识方面仍有局限性。本文研究了知识图谱问题解答(KGQA)任务中需要丰富世界知识的知识增强语言模型方法。现有工作表明,检索知识图谱知识来增强语言模型的提示功能,可以显著提高语言模型在知识图谱问题解答中的性能。然而,这些方法缺乏对幼稚园知识的良好口头表述,即忽略了幼稚园表述与文本表述之间的差距。为此,我们提出了一种对答案敏感的 "KG-to-Text "方法,它可以将 KG 知识转化为对 KGQA 最有参考价值的文本化语句。原创 2024-06-29 11:07:48 · 937 阅读 · 0 评论 -
Query Rewriting for Retrieval-Augmented Large Language Models
大语言模型(LLM)在检索--然后阅读(retrieve--then--read)管道中发挥着强大的黑盒阅读器的作用,在知识密集型任务中取得了显著进展。这项工作从查询重写的角度出发,为检索增强型 LLMs 引入了一个新的框架,即重写-检索-阅读(Rewrite-RetrieveRead),而不是以前的检索-重写-阅读(Retrieve-then-read)。与之前侧重于调整检索器或阅读器的研究不同,我们的方法关注的是搜索查询本身的调整,因为输入文本与检索所需的知识之间不可避免地存在差距。原创 2024-06-29 10:34:01 · 1037 阅读 · 0 评论 -
MedEdit: Model Editing for Medical Question Answering with External Knowledge Bases
大语言模型(LLM)虽然在通用领域很强大,但在特定领域的任务(例如医学问答QA)上通常表现不佳。此外,它们往往充当“黑匣子”,使得改变它们的行为变得具有挑战性。为了解决这个问题,我们深入研究了利用情境学习的模型编辑,旨在提高LLM的反应,而无需进行微调或再培训。具体来说,我们提出了一种全面的检索策略,从外部知识库中提取医学事实,然后将它们合并到LLM的查询提示中。我们使用 MedQA-SMILE 数据集重点关注医学 QA,评估不同检索模型的影响以及向LLM提供的事实数量。原创 2024-03-20 21:01:21 · 995 阅读 · 0 评论 -
The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”
我们揭示了自回归大型语言模型(LLM)中令人惊讶的泛化失败。如果模型在“A is B”形式的句子上进行训练,它不会自动泛化到相反的方向“B is A”,这就是反转诅咒。例如,如果一个模型接受“奥拉夫·肖尔茨是德国第九任总理”的训练,它将无法自动回答“谁是德国第九任总理?”的问题。此外,正确答案(“Olaf Scholz”)的可能性不会高于随机名称。因此,模型表现出逻辑演绎的基本失败,并且没有概括其训练集中的普遍模式(即,如果“A 是 B”发生,“B 是 A”更有可能发生)。原创 2024-03-20 10:27:23 · 500 阅读 · 0 评论 -
Self-supervised Contextual Keyword and Keyphrase Retrieval with Self-Labelling
在本文中,我们提出了一种通过端到端深度学习方法进行关键字和关键短语检索和提取的新型自监督方法,该方法由上下文自标记语料库进行训练。我们提出的方法是新颖的,它使用上下文和语义特征来提取关键词,并且优于现有技术。通过实验证明该方法在语义和质量上均优于现有流行的关键词提取算法。此外,我们建议使用Transform的上下文特征来自动用关键字和关键短语标记短句语料库以构建基本事实。这个过程避免了人工标记关键字的时间,并且不需要任何先验知识。原创 2024-03-14 21:00:15 · 891 阅读 · 0 评论 -
ChatLaw: Open-Source Legal Large Language Modelwith Integrated External Knowledge Bases
大语言模型(LLM)已经显示出在各个领域革新自然语言处理任务的潜力,引发了对特定于垂直领域的大型模型的极大兴趣。然而,与BloombergGPT和FinGPT等利用其独特的数据积累在金融领域取得进展的专有模型不同,中国法律领域没有多少类似的大语言模型来促进其数字化转型。本文提出了一个名为ChatLaw的开源法律大语言模型。由于数据质量的重要性,我们精心设计了一个法律领域微调数据集。原创 2024-03-14 19:31:38 · 1134 阅读 · 0 评论 -
Guiding Large Language Models viaDirectional Stimulus Prompting
我们引入了定向刺激提示,这是一种新颖的框架,用于指导黑盒大语言模型(LLM)实现特定的所需输出。我们的方法不是直接调整 LLM,而是采用小型可调策略模型(例如 T5)为每个输入实例生成辅助定向刺激提示。这些定向刺激提示充当细致入微的、特定于实例的提示和线索,指导LLM生成所需的结果,例如在生成的摘要中包含特定的关键字。我们的方法通过优化政策模型来探索使LLM与期望行为保持一致的定向刺激提示,从而回避了直接调整LLM的挑战。政策模型可以通过。原创 2024-03-10 10:52:10 · 1154 阅读 · 0 评论 -
Biomedical knowledge graph-enhanced prompt generation for large language models
大语言模型(LLM)一直在以前所未有的速度推动人工智能的进步,但在生物医学等知识密集型领域仍然面临挑战。预训练和特定领域微调等解决方案增加了大量的计算开销,后者也需要领域专业知识。外部知识注入是特定于任务的,需要模型训练。在这里,我们引入了一种与任务无关的基于知识图谱的检索增强生成(KG-RAG)框架,通过利用 Llama-2-13b、GPT-3.5-Turbo 和 GPT-4等大语言模型和大规模生物医学知识图谱 SPOKE 来生成植根于既定知识的有意义的生物医学文本。原创 2024-03-10 10:04:22 · 1193 阅读 · 0 评论