![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
知识图谱
文章平均质量分 78
星如雨グッ!(๑•̀ㅂ•́)و✧
这个作者很懒,什么都没留下…
展开
-
Paddlenlp测试
>> [('《', 'w'), ('孤女', '作品类_实体'), ('》', 'w'), ('是', '肯定词'), ('2010年', '时间类'), ('九州出版社', '组织机构类'), ('出版', '场景事件'), ('的', '助词'), ('小说', '作品类_概念'), (',', 'w'), ('作者', '人物类_概念'), ('是', '肯定词'), ('余兼羽', '人物类_实体')]>>> ['第十四届', '全运会', '在', '西安', '举办']原创 2024-07-27 20:41:50 · 225 阅读 · 0 评论 -
中文小样本NER模型方法总结和实战
在UIE出来以前,小样本NER主要针对的是英文数据集,目前主流的小样本NER方法大多是基于prompt,在英文上效果好的方法,在中文上不一定适用,其主要原因可能是:中文长实体相对英文较多,英文是按word进行切割,很多实体就是一个词;边界相对来说更清晰;生成方法对于长实体来说更加困难。但是随着UIE的出现,中文小样本NER 的效果得到了突破。原创 2024-07-22 00:04:20 · 662 阅读 · 0 评论 -
分词工具对比
中包含了来自这四家单位的训练集(training)、测试集(testing), 以及根据各自分词标准而提供的相应测试集的标准答案(icwb2-data/scripts/gold).在icwb2-data/scripts目录下含有对分词进行自动评分的perl脚本score。在第二届国际汉语分词测评中,共有四家单位提供的测试语料(Academia Sinica、 City University 、Peking University 、Microsoft Research), 在评测提供的资源。原创 2024-07-21 16:10:55 · 418 阅读 · 0 评论 -
12类知识图谱构建与应用开源工具总结:从开放知识库到知识抽取再到推理可视化
本文主要从12个角度,对现有的知识图谱开源工具进行了总结,这些开源可用的工具,都为我们进行知识图谱的构建提供了十分好的基础设施,无论是入门知识图谱的,还是做知识图谱研究的,都可以使用,大家可以利用起来。原创 2024-07-21 16:05:10 · 232 阅读 · 0 评论 -
GraphRAG项目
蚂蚁首个对外开源的Graph RAG框架采用全自主的开源产品:DB-GPT(RAG的AI工程框架)+ OpenSPG(知识图谱系统)+ TuGraph(图存储系统)。随后Neo4j于13日开源了 基于LLM提取知识图谱的生成器:llm-graph-builder。原创 2024-07-21 15:58:38 · 280 阅读 · 0 评论 -
KBQA调研——学术界
知识库问答(knowledge based question answering,KB-QA):给定自然语言形式的问题,通过对问题进行语义理解和解析,进而利用知识库进行查询、推理,最终得出答案。原创 2024-07-21 15:54:15 · 408 阅读 · 0 评论 -
知识库问答研究进展与展望
基于知识库的问答(QuestionAnsweringoverKnowledgeBase,KBQA)是问答系统的重要组成部分,要求计算机正确理解自然语言问题的语义,并从知识库中提取问题的答案.早期研究主要关注仅涉及到单个关系三元组的简单问答,近年来,随着以深度学习为代表的表示学习技术在简单问答任务的成功应用,研究重点逐渐转移到需要复杂推理能力的推理问答上.本文将对现有知识库问答的研究进展进行综述,先总结简单问答和推理问答两类任务各自的问题和挑战,然后对近年来与知识库问答相关的数据集进行多维度的分析和比较,接下原创 2024-07-21 15:47:44 · 188 阅读 · 0 评论 -
Vector | Graph:蚂蚁首个开源Graph RAG框架设计解读
RAG的目标是通过知识库增强内容生成的质量,通常做法是将检索出来的文档作为提示词的上下文,一并提供给大模型让其生成更可靠的答案。更进一步地,RAG的整体链路还可以与提示词工程(Prompt Engineering)、模型微调(Fine Tuning)、知识图谱(Knowledge Graph)等技术结合,构成更广义的RAG问答链路。增强训练REALM引入了知识检索器增强大模型预训练,以改进大模型的问答质量和可解释性。增强微调RA-DIT实现了对大模型和检索器的双指令微调,RAFT。原创 2024-07-21 15:33:47 · 665 阅读 · 0 评论 -
微软GraphRAG
通用语言模型通过微调就可以完成几类常见任务,比如分析情绪和识别命名实体。这些任务不需要额外的背景知识就可以完成。要完成更复杂和知识密集型的任务,可以基于语言模型构建一个系统,访问外部知识源来做到。这样的实现与事实更加一性,生成的答案更可靠,还有助于缓解“幻觉”问题。Meta AI 的研究人员引入了一种叫做的方法来完成这类知识密集型的任务。RAG 把一个信息检索组件和文本生成模型结合在一起。RAG 可以微调,其内部知识的修改方式很高效,不需要对整个模型进行重新训练。原创 2024-07-21 15:32:59 · 555 阅读 · 0 评论 -
知识图谱综述
【知识图谱论文】知识图谱自主构建综述A Comprehensive Survey on Automatic Knowledge Graph Construction【论文精读】A Survey on Knowledge Graphs Representation, Acquisition and Applications原创 2024-05-05 17:31:09 · 221 阅读 · 0 评论 -
利用知识图谱克服人工智能幻觉
或者是一个产生幻觉的LLM,给金融公司提供不准确的法律分析,导致做出可能招致重大损失的决定。通过将数据合并到一个单一的、统一的视图中,知识图谱可以帮助以一种易于理解的格式组织数据,这种格式可用于做出更好的决策,识别新的见解,并获得对数据的更全面的理解。通过将以前孤立的和不可访问的数据连接在一起,知识图谱引擎将所有收集到的数据作为一个单一的事实来源,可以分析以发现隐藏的知识宝藏。最近,像ChatGPT这样的大型语言模型产生了不准确的报告,争论了不正确的事实,并在他们的答案中描述了现实世界的偏见。原创 2024-05-05 17:14:45 · 863 阅读 · 0 评论 -
Graph RAG:基于知识图谱的检索增强技术与优势对比
以《银河护卫队 3》的数据集为例,当我们询问“彼得·奎尔的相关信息”时,单独使用向量检索引擎只给出了简单的身份、剧情、演员信息,而当我们使用 Graph RAG 增强后的搜索结果,则提供了更多关于主角技能、角色目标和身份变化的信息——在这个例子中我们不难看出,在传统的搜索引擎中,检索结果通常是基于关键词的匹配。,它是一种基于知识图谱的检索增强技术,通过构建图模型的知识表达,将实体和关系之间的联系用图的形式进行展示,然后利用大语言模型 LLM(Large Language Model)进行检索增强。原创 2024-05-05 16:58:55 · 1860 阅读 · 0 评论 -
知识图谱和大语言模型的共存之道
导读知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力,知识图谱则丰富了表示知识的方式,两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下,OpenKG组织新KG视点系列文章——“大模型专辑”,不定期邀请业内专家对知识图谱与大模型的融合之道展开深入探讨。本期特别邀请到东南大学漆桂林教授、南京柯基数据科技有限公司杨成彪(CTO)和吴刚(CEO)等分享“知识图谱和大语言模型的共存之道”。分享嘉宾 | 漆桂林(东南大学),杨成彪(南京柯基数据科技有限原创 2024-05-05 16:51:45 · 1274 阅读 · 1 评论 -
LLM⊗KG范式下的知识图谱问答实现框架思想阅读
分享一张有趣的图,意思是在分类场景下,使用大模型和fasttext的效果,评论也很逗。这其实背后的逻辑是,在类别众多的分类场景下,尤其是在标注数据量不缺的情况下,大模型的收益是否能够比有监督模型的收益更多。这个例子虽然没有说标注数据量,但估计量不会少。我们继续回到知识图谱与大模型的话题:读到一个大模型和知识图谱融合的有趣工作《 Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph》(原创 2024-05-05 16:40:52 · 805 阅读 · 0 评论 -
统一大型语言模型和知识图谱:路线图
大型语言模型(LLM),如ChatGPT和GPT4,由于其涌现能力和泛化性,正在自然语言处理和人工智能领域掀起新的浪潮。然而,LLM是黑箱模型,通常无法捕捉和获取事实知识。相反,知识图谱(KGs),例如维基百科和华普,是显式存储丰富事实知识的结构化知识模型。KGs可以通过为推理和可解释性提供外部知识来增强LLM。同时,KGs很难从本质上构建和演化,这对KGs中现有的生成新事实和表示未知知识的方法提出了挑战。因此,将LLM和KGs统一在一起并同时利用它们的优势是相辅相成的。原创 2024-05-05 10:58:19 · 1624 阅读 · 0 评论 -
爱奇艺文娱知识图谱的构建与应用实践
本质上,知识图谱是一种揭示实体之间关系的语义网络,对现实世界的事物及其相互关系进行形式化地描述。——《知识图谱是由一些相互连接的实体和他们的属性构成的。换句话说,知识图谱由一系列的(实体,关系,实体)三元组构成,用以表达现实世界中的诸多场景。实体(Entity)指的是现实世界中的事物,是图里的节点。关系(Relation)指的是不同实体之间的某种联系,是图里的“边”。图示为一个社交网络知识图谱: 实体有『人』『物品』『建筑』『城市』等。原创 2024-05-05 10:42:36 · 620 阅读 · 0 评论 -
知识图谱的构建全流程
知识图谱,是结构化的语义知识库,用于迅速描述物理世界中的概念及其相互关系,通过知识图谱能够将Web上的信息、数据以及链接关系聚集为知识,使信息资源更易于计算、理解以及评价,并能实现知识的快速响应和推理。原创 2024-05-05 10:34:52 · 2423 阅读 · 0 评论 -
知识图谱基础
定义:在知识图谱中,三元组是由三个元素组成的有序集合,分别是主体(subject)、谓词(predicate)和客体(object)。例如,“苹果是水果”的三元组可以表示为(苹果,是,水果)。结构:三元组的结构清晰简洁,将实体和关系以及它们之间的语义关联完整地体现出来。主体表示描述的实体,谓词表示实体之间的关系,客体表示与主体相关联的实体。实体(Entity)实体是对客观个体的抽象,一个人、一部电影、一句话都可以看作是一个实体。例如:姚明,李安,我不是潘金莲类型(type)原创 2024-05-05 10:24:04 · 962 阅读 · 0 评论