- 博客(957)
- 收藏
- 关注
转载 技术动态 | UIUC等提出BioBridge:用知识图谱构建多模态生物医学基础模型
引言这是 UIUC Zifeng Wang 等发表在 ICLR'24 上的论文。论文题目:BioBridge: Bridging Biomedical Foundation Models via Knowledge Graphs论文链接:https://arxiv.org/pdf/2310.03320.pdf在生物医学研究领域,一直以来,基础模型(Foundation Models,简称FMs)大...
2024-03-18 19:41:03 6
原创 论文浅尝 | GPT-RE:基于大语言模型针对关系抽取的上下文学习
笔记整理:张廉臣,东南大学硕士,研究方向为自然语言处理、信息抽取链接:https://arxiv.org/pdf/2305.02105.pdf1、动机在很多自然语言处理任务中,上下文学习的性能已经媲美甚至超过了全资源微调的方法。但是,其在关系抽取任务上的性能却不尽如人意。以GPT-3为例,一些基于GPT-3的上下文学习抽取方法在关系抽取任务上不理想的效果主要来自于两个方面:① 检索演示示例中实体、...
2024-03-15 19:41:00 748
转载 会议交流 | 大语言模型与知识图谱:机会与挑战
张文浙江大学特聘研究员个人介绍:张文,浙江大学软件学院特聘研究员,研究方向为知识图谱、图数据处理、大数据系统。在包括NeurIPS/KDD/WWW/IJCAI/AAAI/ICDE/ACM MM/WSDM等在内的国际顶级会议上发表多篇论文。主持国家自然科学基金青年科学基金项目、浙江省自然科学基金探索青年项目、宁波市自然科学基金探索一般项目。曾获国际知识图谱联合会议IJCKG最佳论文奖、最佳应用论...
2024-03-14 19:17:43 16
转载 技术动态 | 知识图谱用于问答的案例:领域智能助手项目的技术选型与落地建议...
转载公众号 | 老刘说NLP领域智能助手是当前知识问答一个典型场景,作者之前在文章《项目实操:KBQA常规实现流程与医疗知识图谱问答源码解读》、《工程实践:基于规则模式的军事和医药领域知识图谱问答快速实现》等对该方向的工作进行了介绍,感兴趣的可以关注公众号,前往查看。为了进一步地说明该技术在工业的落地,本文主要以实际的工业需求进行论述,从业务场景的定义、常用知识问答选型以及知识问答场景落地问答三个...
2024-03-13 19:40:59 24
转载 征稿 | The LLM+KG Workshop (VLDB 2024)
International Workshop onLLM+KG: Data Management Opportunities in Unifying Large Language Models + Knowledge GraphsIn conjunction with the VLDB 2024, the 50th International Conference on Very Large Da...
2024-03-11 19:40:16 36
转载 会议交流 | DataFunSummit 2024:知识图谱在线峰会
大模型之前,知识图谱已经有很多应用了,比如知识问答等。知识图谱与搜索引擎结合,例如知识卡片,提供了直接的事实性回答和客观知识的展示,在这方面依然更擅长。这种模式并不会因为大模型的到来而受到很大的冲击,因为知识获取的场景本身就是广泛的。那么,大模型的到来会带来哪些新的变化呢?大模型其实增强了用户和机器之间的人机交互,降低了交互门槛,使AI对用户输入的自然语言的理解更加充分、细致、准确。对于用户更随意...
2024-03-08 19:40:37 37
原创 论文浅尝 | LongForm:利用语料库抽取优化长文本生成的指令调优
笔记整理:喻靖,浙江大学硕士,研究方向为蛋白质大模型链接:https://arxiv.org/abs/2304.08460动机指令调优使语言模型能够更有效地泛化,更好地遵循用户意图。不过,获取指令是十分昂贵且具有挑战性的。现有的方法采用诸如人工注释、众包数据集LLM生成噪声样例的方法。本文介绍了LongForm数据集,LongForm通过利用英语语料库的指令构建。本文提出从现有的语料库选择文档,并...
2024-03-06 19:40:54 285
原创 开源开放 | DeepOnto: 基于深度学习和语言模型的本体工程Python软件包
GitHub链接:https://github.com/KRR-Oxford/DeepOntoOpenKG链接:http://old.openkg.cn/tool/deeponto-python文档地址:https://krr-oxford.github.io/DeepOnto/开放许可协议:Apache-2.0 license项目参与人员:何源,陈矫彦,董行,Ian Horrocks参与单位:牛...
2024-03-04 15:59:30 539
转载 技术动态 | 知识图谱如何帮助驾驭业务复杂性?
转载公众号 | 知识管理就在夏博有很多人批评知识图谱太复杂了。当然,它是复杂的。但火箭也是如此。然而,你不会指望能骑自行车去月球,是吗?为什么越来越多企业会引入知识图谱?原因是企业发展过程中产生的固有复杂性,知识图谱使企业能够跨不同的IT系统“连接点”,有效驾驭业务复杂性并将其转化为竞争优势。认识到企业业务的内在复杂性复杂性本身并不是坏事。通常,这是业务增长的副产品。组织越大,自然就会越复杂,需要...
2024-03-01 19:40:40 35
转载 技术动态 | 在不同的RAG阶段注入知识图谱
转载公众号 | 蓝蓝的小火苗在本文中,我想准确介绍知识图 (KG) 在 RAG 管道中的应用领域。我们将探讨 RAG 管道中出现的不同类型的问题,以及如何通过在整个管道的不同阶段应用知识图来解决这些问题。我们将讨论一个 RAG 管道的实际示例,该管道通过知识图在不同阶段得到增强,并准确说明每个阶段如何改进答案和查询。我希望传达的另一个关键要点是图技术的部署更类似于结构化数据存储,用于战略性地在 R...
2024-02-26 19:40:32 103
原创 论文浅尝 | 一种基于对比微调的脚本事件预测生成方法
笔记整理:柴智华,东南大学硕士,研究方向为事件预测链接:https://arxiv.org/pdf/2212.03496.pdf1. 动机脚本事件预测任务是指在给定上下文时,预测后续事件。这需要推断事件之间相关性的能力。最近的工作试图通过使用预训练的语言模型并结合外部知识(如篇章关系)来改进事件相关性推理。尽管取得了可喜的成果,但仍然存在一些挑战。首先,当前工作采用的预训练的语言模型忽略了事件级知...
2024-02-23 19:40:52 957
转载 技术动态 | 知识图谱之多元关系架构——基于OpenSPG的建模实践(下)
转载公众号 |SPG知识图谱在“知识图谱之本体结构与语义解耦——基于OpenSPG的建模实践(上)”一文中,我们从实体关系设计和概念语义建模2种场景,讲解了基于SPG的知识建模的方法和案例。本文中,我们将继续讲解多元关系架构场景中的知识建模实践。如果你的图谱,涉及对带有时空信息的行为事件的表达,或建模场景下的业务规则、专家经验,需要对所定义“概念”的内涵和外延有计算机可处理可计算的逻辑语义解释,...
2024-02-21 19:40:17 73
原创 论文浅尝 | PanGu-Coder2: 利用排序反馈增强代码的大型语言模型
笔记整理:李晓彤,浙江大学硕士,研究方向为蛋白质与大模型链接:https://arxiv.org/pdf/2307.14936.pdf1. 动机作为大语言模型最有前途的应用之一,代码大语言模型(CodeLLM)因其在代码相关任务中的卓越能力而引起了学术界和工业界的极大关注。在诸多提升CodeLLM性能的工作中,强化学习(RL)似乎是一个有前途的方向。然而,现有的基于RL的方法,往往根据来自代码...
2024-02-19 19:40:47 814
转载 技术动态 | 知识图谱之本体结构与语义解耦——基于OpenSPG的建模实践(上)
转载公众号| SPG知识图谱在“无需复杂图谱术语,7个原则搞定Schema建模”一文中,我们总结了知识建模最佳实践的7个指导原则。本文中,我们将分基础篇、进阶篇,针对不同业务场景的建模需求,由浅及深讲解基于SPG的知识建模的方法和案例,并涉及术语的解释。本文档所提出的建模方案,已经在OpenSPG做了对应的能力支持实现(或开发迭代中)。使用SPG,读者也可以按本文的方法论对自己的业务问题简化抽象...
2024-02-15 20:09:10 146
原创 论文浅尝 | 实体和数值知识图谱推理
笔记整理:付可意,天津大学硕士,研究方向为知识图谱推理链接:https://arxiv.org/pdf/2306.01399.pdf1. 动机知识图谱中的复杂逻辑查询是指以逻辑形式表达的查询,它表达了复杂的含义,例如加拿大图灵奖获得者毕业于哪里?基于知识图谱推理的应用,如对话系统和交互式搜索引擎,其基本任务就是依靠回答复杂逻辑查询的能力。在大多数知识图谱中,边通常用来描述实体之间的关系或相关属性值...
2024-02-12 19:40:54 651
转载 技术动态 | 中文创意写作能力超GPT-4,「最会写」的中文大模型Weaver来了
转载公众号 | 机器之心ChatGPT 等通用大模型支持的功能成百上千,但是对于普通日常用户来说,智能写作一定是最常见的,也是大模型最能真正帮上忙的使用场景之一。尽管大模型经常能写出看起来像模像样的文字,但是大多数情况下内容的创意程度和文风都经不起深究。尤其是在创作领域,大模型常见的 “GPT 文风” 更是让利用大模型进行创意写作看起来简单,实际却困难重重。近日,波形智能的大模型团队发布了一款专精...
2024-02-08 19:40:31 55
原创 论文浅尝 | 在图上思考:基于知识图谱的深度且负责的大语言模型推理
笔记整理:孙硕硕,东南大学硕士,研究方向为自然语言处理链接:https://arxiv.org/abs/2307.076971. 动机本文的动机是大型语言模型在各种任务中取得了较大的进步,但它们往往难以完成复杂的推理,并且在知识可追溯性、及时性和准确性等至关重要的情况下表现出较差的性能。为了解决这些限制,作者提出了 Think-on-Graph (ToG),这是一个新颖的框架,它利用知识图谱来增强...
2024-02-06 19:40:52 1483
转载 技术动态 | 知识图谱融合大模型RAG问答:用于多文档QA的知识图谱构图及prompt应用思路...
我们在之前的文章中有介绍过longbench评测,其中有多文档QA这一任务。最近看到的一个工作,《Knowledge Graph Prompting for Multi-Document Question Answering》(地址:https://arxiv.org/pdf/2308.11730.pdf),提出了一种知识图谱提示(KGP)方法,用于在多文档问题解答(MD-QA)中制定正确的LLM...
2024-02-04 19:02:29 267
原创 论文浅尝 | 大型语言模型的人类对齐
笔记整理:方润楠、习泽坤,浙江大学硕士,研究方向为自然语言处理链接:https://arxiv.org/abs/2307.12966概述这份综述探讨了针对大型语言模型(LLMs)的人类期望进行对齐的技术,涵盖了以下几个方面:1. 数据收集:有效收集LLMs对齐所需的高质量指令的方法,包括使用NLP基准、人工注释和利用强大的LLMs。2. 训练方法:对LLMs对齐采用的主要训练方法进行详细审查。涵盖...
2024-02-02 19:40:42 917
转载 技术动态 | 模块化(Modular)RAG 和 RAG Flow
随着RAG技术的演进,RAG整体的流程变动更加丰富和自由。具体表现在以下几个方面:在检索增强数据源上,不再局限于传统的纯⽂本⽂档为为代表的非结构化数据。越来越多的研究引⼊了半结构化数据(例如,PDF、HTML和LaTex)、结构化数据(例如三元组、KG、以及结构化查询语句)。经过预处理结构数据更进⼀步提供检索的逻辑性和可验证性,降低模型幻觉。此外,以检索LLM⾃身代替外部知识源的方法逐渐兴起。通过...
2024-02-01 19:05:31 1133
转载 技术动态 | 哈工大联合快手提出CogGPT:大模型也需要认知迭代
在认知科学领域,人类通过持续学习改变认知的过程被称为认知迭代(Cognitive Dynamics)。形象地说,认知迭代就像是我们大脑的「软件更新」过程,手机应用通过不断的更新来修复 bug 和增加新功能,我们的大脑也通过不断学习新知识、经验,来改善和优化思考方式。从我们判断感冒吃什么药效果好,到一代代数学家如何证明费马大定理,无论是个人的心智发展还是人类文明的进步,认知迭代都扮演了不可或缺的角色...
2024-01-31 19:40:55 46
转载 技术动态 | 知识图谱对工业组织生成式人工智能的重要作用
随着生成式人工智能开始重新定义工业格局,数字化转型领导者在实施人工智能解决方案时,需要继续应对复杂数据治理、定义精确用例以及展示直接商业价值的挑战。在应对这些挑战中,工业知识图谱作为一种战略解决方案应运而生。正如我们将在下面详细介绍的,知识图谱通过提高数据利用率和打破数据孤岛提供了生成人工智能所需的基础。因此,工业知识图谱成为生成式人工智能时代释放有形商业价值的关键。理解知识图谱从本质上讲,知识图...
2024-01-29 19:40:25 70
原创 论文浅尝 | QA-GNN: 使用语言模型和知识图谱的推理问答
笔记整理:李继统,天津大学硕士链接:https://arxiv.org/pdf/2104.06378.pdf1. 动机目前现有的方法,对于QA上下文使用LM处理,对于KG使用GNN进行处理,并且并不相互更新彼此的表示,也不做语义的对齐表示。因此QA上下文与KG的分离表示可能会限制模型执行结构化推理的能力(比如处理否定问题)。因此本篇工作主要在于QA上下文与KG的融合表示。2. 亮点基于知识图谱的问...
2024-01-26 19:40:17 716 1
转载 技术动态 | LLM⊗KG范式下的知识图谱问答实现框架思想阅读
转载公众号 |老刘说NLP分享一张有趣的图,意思是在分类场景下,使用大模型和fasttext的效果,评论也很逗。这其实背后的逻辑是,在类别众多的分类场景下,尤其是在标注数据量不缺的情况下,大模型的收益是否能够比有监督模型的收益更多。这个例子虽然没有说标注数据量,但估计量不会少。我们继续回到知识图谱与大模型的话题:读到一个大模型和知识图谱融合的有趣工作《 Think-on-Graph: Deep ...
2024-01-24 19:40:12 126
原创 论文浅尝 | 基于细粒度推理的虚假新闻检测
笔记整理:周诗琪,东南大学硕士,研究方向为自然语言处理、规则挖掘链接:https://arxiv.org/abs/2110.150641. 动机虚假新闻误导公众,威胁社会经济、政治的良性发展,而现有的虚假新闻检测方法存在一些局限。首先,这些方法大多缺乏可解释性,不提供解释或只对模型的一小部分提供解释。这阻碍了人们理解并信任模型给出的结果,以及引导模型进行性能改进。此外,现有的模型不具备细粒度推理能...
2024-01-22 19:40:19 345
转载 图谱实战 | 无需复杂图谱术语,7个原则搞定Schema建模
转载公众号 |SPG知识图谱01前言在OpenSPG最新发布的0.0.2 版本中,为了方便大家更好地理解和应用OpenSPG构建知识图谱,发布了知识建模最佳实践的 7 个指导原则。本文我们结合蚂蚁域内的多个业务场景,举例说明结合SPG规范的结构与语义解耦的知识建模及schema设计方法。????OpenSPG GitHub:https://github.com/OpenSPG/openspg,欢迎大...
2024-01-19 19:40:27 91
转载 技术动态 | 如何将知识图谱与AIGC结合?京东是这么做的
转载公众号 |DataFunTalk导读本文将分享如何将知识图谱应用到电商场景下的 AIGC。文章将围绕下面五个方面进行分享:1.导言2.基于领域知识图谱的商品文案生成3.基于通用知识图谱的商品文案生成4.基于领域知识图谱的 LLM5.基于通用知识图谱的 LLM分享嘉宾|李浩然博士京东科技言犀大模型算法负责人编辑整理|郭洋内容校对|李瑶出品社区|DataFun01导言首先介绍一下...
2024-01-17 19:40:17 89
原创 论文浅尝 | 记忆力强还是健忘?深入探究语言模型的知识记忆机制
笔记整理:方润楠,浙江大学硕士,研究方向为自然语言处理链接:https://arxiv.org/abs/2305.09144摘要近年来,大规模预训练语言模型展示出惊人的记忆能力,相比之下,未经预训练的普通神经网络存在着灾难性遗忘的问题。为了研究这种记忆与遗忘出现的原因,并探求语言模型的记忆机制,作者通过控制模型类别,学习策略,知识分布等方面进行了全面实验。作者发现:1)普通语言模型容易遗忘;2)预...
2024-01-15 19:40:12 1174
转载 OpenSPG 新版发布:新增大模型知识抽取,3 步快速搭建专属知识图谱
转载公众号| SPG知识图谱随着 ChatGPT 的横空出世,大模型已然成为人工智能领域的焦点。大模型在语言理解、对话生成方面表现得尤其亮眼,而知识图谱则擅长大模型所无法解决的事实性“幻觉”和复杂推理问题。将知识图谱和大语言模型结合起来,充分发挥各自的优势,能为用户提供更优质的人工智能服务和产品。去年 10 月 26 日,OpenSPG 正式开源,希望和社区一起共同推动知识图谱技术的发展和大模型...
2024-01-14 19:14:42 222
转载 技术动态 | 知识图谱遇上RAG行业问答:回顾知识检索增强范式、挑战及与知识图谱的结合...
转载公众号| 老刘说NLP今天我们来看看AIDD2023(https://aidd.vip/dhrc-sz2023)中有关知识图谱与行业问答上的一些有趣的分享,供大家一起参考。一、知识检索增强范式、拷问、评估与选型同济大学王昊奋老师的《知识增强大模型:垂域落地的最后一公里》报告中,很有启发性地介绍了知识增强大模型的一些思考,特别棒,择其中几个有趣的点,分享给大家。1、RAG vs Fine-t...
2024-01-12 19:40:24 488
原创 论文浅尝 | 学习时序知识图谱中的隐含知识
笔记整理:陈鹏,天津大学硕士链接:https://aclanthology.org/2023.acl-long.705.pdf1. 动机知识图谱(Knowledge Graph)是一种结构化的多关系数据,用于记录事件,描述实体间的相互关系。然而真实世界的事件是随时间不断发生变化的,实体和关系的语义也随之发生改变。因此,研究者们引入时序知识图谱(Temporal Knowledge Graph)来更...
2024-01-10 19:40:26 928
转载 技术动态 | 快手联合哈工大开源Agents系统、模型、数据!
转载公众号 |社媒派SMP快手联合哈尔滨工业大学社会计算与信息检索研究中心研发的「KwaiAgents」,使7B/13B模型也能达到超越GPT-3.5的效果,并且这些系统、模型、数据、评测都开源了!7B 大小的模型也能玩转 AI Agents 了?近期,快手联合哈工大开源了「KwaiAgents」,问它周末滑雪问题,它不但帮你找到场地,连当天的天气都帮你考虑周到了。大家都知道大语言模型(LLM)...
2024-01-09 19:41:02 83
转载 技术动态 | 企业数字化转型下知识图谱的业务价值、成功支柱和最终愿景
转载公众号 |知识管理就在夏博问题:在哪里会使用知识图谱?几十年来,企业一直试图创造一种智能的方式,期望将其所有专业数据整合到一个地方,并将数千名员工的经验结合起来。解决这个问题的方法是知识图谱,许多组织已经在使用知识图谱技术来帮助自己保持领先地位,从金融、汽车、石油和天然气到制药和健康、零售、出版、媒体等不同行业。虽然这些公司在不同场景中使用知识图谱,但其游戏规则通常是相同的:从各种数...
2024-01-08 19:40:30 59
转载 会议交流 | Solid 技术、标准与生态开放讨论
欢迎参加Web 进化论 — Solid:技术、标准与生态开放讨论:时间:2024年1月11日15:00-17:00形式:线上交流(使用 Zoom 会议)活动页面:https://w3c.github.io/webevolve-series/solidW3C 于2023年9月邀请全球会员及公众审阅 Solid 工作组标准化章程草案,正式开始筹备 Solid 在 W3C 的标准化工作,由此开启了一场...
2024-01-06 10:01:06 57
原创 论文浅尝 | 以词-词关系进行分类的统一命名实体识别
笔记整理:曹旭东,东南大学硕士,研究方向为知识图谱构建、自然语言处理链接:https://arxiv.org/abs/2112.100701. 动机在以前的工作中,命名实体识别(NER)涉及的主要问题有三种类型,包括平面、重叠(也称为嵌套)和不连续的命名实体识别,这些类型大多分别研究。最近,对于统一的NER模型的研究越来越多,它只需一个模型,就可以同时处理上述三种问题。目前表现最佳的方法主要包括基...
2024-01-05 19:40:11 931
转载 AI-Ceping 大模型评测平台S1赛季总结
OpenKGOpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。点击阅读原文,进入 OpenKG 网站。...
2024-01-03 19:25:00 80
转载 OpenKG年度回顾:祝大家2024新年快乐!
HELLO 2024新年伊始,万象更新随着新年钟声响起,OpenKG团队向大家致以最诚挚的祝福。愿新的一年里,“知识”的海洋更加广阔,“图谱”的探索更加精彩。让我们携手共进,以“开放”点亮智能未来,创造更多可能。祝愿每一位伙伴新年快乐,梦想成真!OpenKG的2023年这一年里,我们努力做点事,努力做成事。2023年,OpenKG开放资源访问量达到923万,公众号文章年度阅读量47万次。我们发布...
2024-01-01 08:31:04 134
原创 论文浅尝 | 重新思考多模态实体对齐中视觉模态的不确定性、缺失和模棱两可...
笔记整理:徐雅静,浙江大学博士,研究方向为多模态知识图谱链接:https://arxiv.org/pdf/2307.16210.pdf1. 动机现有的多模态实体对齐方法(MMEA)主要集中在多模态实体特征的融合范式上,而忽视了视觉图像普遍存在的缺失现象和内在模糊性所带来的挑战。在本文中,作者进一步分析了视觉模态不完备问题及对MMEA模型的影响,并在作者提出的MMEA-UMVM数据集上对最新的MME...
2023-12-29 19:40:52 948
转载 技术动态 | 知识图谱表示应用场景:实体推荐与知识推理过程简析
转载公众号| 老刘说NLP在以前的文章中我们介绍了知识图谱表示学习的一些经典方法,包括TransE、TransD、TransR、TransH、RotateE、pairRE等,通过这些方法,我们可以学习实体和关系的嵌入表示,并用于实体补全等操作。之前有篇文章写到知识图谱的推理,《技术总结:知识图谱推理中的常用方法、关键问题、评测指标与开放数据总结》,就知识推理常用的方法和关键问题等方面进行了总结。...
2023-12-27 19:40:56 130
原创 论文浅尝 | 模式感知参考作为提示改进数据高效的知识图谱构建
笔记整理:陈道祺,天津大学硕士生,研究方向为知识图谱链接:https://dl.acm.org/doi/10.1145/3539618.35917631. 动机知识图谱(KG)作为结构化知识的一种形式,可以为各种实际应用提供后端支持,包括信息检索、问答和推荐系统。知识图构建的目的是从文本中自动检索特定的关系三元组和事件。作者认为目前的方法存在明显局限,其中包括:自然语言和具有预定义模式的输出结构化...
2023-12-25 19:40:32 94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人