知识图谱-第三方工具：OpenUE【轻量级知识图谱抽取工具（命名实体识别、关系抽取）】【基于PyTorchLightning+Transformers】

已于 2024-02-14 22:47:54 修改
阅读量2.6k 收藏 6
点赞数 1
分类专栏： 知识图谱（Knowledge Graph） 文章标签： 人工智能 知识图谱 OpenUE 知识抽取
于 2022-03-20 23:05:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/123624159
版权

一、OpenUE主要架构

在这里插入图片描述

1、models 模块

其存放了我们主要的三个模型，针对整句的关系识别模型，针对已知句中关系的命名实体
识别模型，还有将前两者整合起来的推理验证模型。

2、lit_models 模块

其中的代码主要继承⾃pytorch_lightning.Trainer。其可以⾃动构建单卡，多卡，GPU,TPU
等不同硬件下的模型训练。

3、data 模块

data中存放了针对不同数据集进⾏不同操作的代码。使⽤了transformers库中的tokenizer先 对数据进⾏分词处理再根据不同需要将数据变成我们需要的features。

二、数据形式(json)

在这里插入图片描述

u013250861
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
常用免费科学知识图谱软件及其辅助工具
iCloudEnd的博客
10-08 5345
CiteSpace是一款科学知识图谱绘制工具，可以通过绘制可视化科学知识图谱来呈现学科领域的知识结构和规律1。它在文献计量分析和学科发展知识图谱方面具有较强的功能和技术优势1。
【NLP】一个支持低资源、长篇章、多模态的开源知识抽取工具——DeepKE
让算法融入生活，改变生活！
07-14 3311
http.主要功能分为三个类别单句、篇章级、多模态。对于单句支持常用的实体抽取、属性抽取、关系抽取三个任务。如实体抽取效果篇章级、多模态则主要是关系抽取任务。https.该工具设计的框架如下DeepKE包含命名实体识别、关系抽取和属性抽取三个模块，分别是三个任务。每个模块都有自己的子模块。例如，关系抽取模块中有标准的、少样本、文档级和多模态子模块。每个子模块由三部分组成一组可用作tokenizer的工具、数据加载器、训练和预测时使用编码的一种处理模块。deepke，然后激活。......
知识图谱构建工具_【图谱构建】图谱构建之知识抽取
weixin_40001275的博客
11-10 520
本文内容来自【AINLP与知识图谱】公众号，欢迎关注。图谱构建之知识抽取导语本文将简短介绍知识抽取中的一系列问题，包括知识抽取的场景以及数据来源、知识抽取的一些典型任务，例如实体识别、关系抽取、事件抽取等。PART 1 何为知识抽取？从何处抽取？知识抽取(Knowledge Extraction, KE)是从结构化(例如关系数据库、XML)和非结构化(例如文本、文档、图像)源中创建知识。产生的知识...
探索OpenUE：一款强大的开源对话系统框架
gitblog_00073的博客
03-27 344
探索OpenUE：一款强大的开源对话系统框架 项目地址:https://gitcode.com/zjunlp/OpenUE OpenUE 是一个由南京大学自然语言处理实验室（ZJUNLP）开发的、用于构建和研究对话系统的开源框架。这个项目旨在简化对话系统的研发流程，提供灵活的模块化设计，让开发者可以轻松实现个性化和创新性的对话应用。 技术概述 OpenUE 基于Python编程语言，采用了现代深度...
探秘高效文本关系抽取工具：MPRelation
最新发布
gitblog_00061的博客
04-22 331
探秘高效文本关系抽取工具：MPRelation 项目地址:https://gitcode.com/dreamyoung/mprelation 在这个数据爆炸的时代，如何快速地从大量文本中提取关键信息变得至关重要。MPRelation 是一个强大的Python库，专为文本中的实体关系抽取设计，它可以帮助开发者和数据科学家们更有效地解析和理解文本内容。 项目简介 MPRelation是由DreamYo...
开源开放 | 中国近代历史人物知识图谱
开放知识图谱
12-03 2873
OpenKG地址：http://openkg.cn/dataset/zgjdlsrw项目地址：http://www.zjuwtx.work/project/kg开放许可协议：CC BY-S...
支持中文的deepdive：斯坦福大学的开源知识抽取工具（三元组抽取）
chaishen10000的专栏
09-28 6347
一、DeepDive简介 deepdive帮助你从更少的结构化数据和统计推断中提取结构化的知识而无需编写任何复杂的机器学习代码。deepdive是一种新的数据管理系统，能够解决提取、整合型，并在一个单一的系统预测问题，它允许用户快速构建复杂的端到端的数据管道。 二、DeepDive优势 deepdive让开发者只需要关心实体特征，不需要在乎算法。相比之下，其他机器学习系统需要开发者认为，聚类算法...
【实体关系抽取】之——CasRel关系抽取（Duie数据集）
m0_62339601的博客
04-06 2355
CasRel关系抽取，小白实训
用NEO4J平台构建一个《人工智能引论》课程的多模态知识图谱
森林的博客——在完成之前，似乎总是不可能的~
09-10 2644
用NEO4J平台构建一个《人工智能引论》课程的多模态知识图谱。 知识图谱的经典定义是结构化的语义知识库，是用形象化的图形式来表达出物理世界中的概念以及内部关系。**其基本组成单位是“实体－关系－实体”三元组**，实体间通过关系相互连接形成知识结构网络。而它**也是基于图的数据结构，基本组成是“节点－边－节点”**，从而将知识信息连接成为一个关系网。所以知识图谱主要有**实体、关系、属性**等部分。
农业知识图谱：农业领域的信息检索+智能问答，命名实体识别，关系抽取，实体关系查询
07-02
农业知识图谱码源 - hudong_pedia.csv : 已经整理好的农业实体的百科页面的结构化csv文件 - labels.txt： 5000多个手工标注的实体类别 - predict_labels.txt: KNN算法预测的15W多个实体的类别 - /wikidataSpider/...
基于pytorch的中文三元组提取（命名实体识别+关系抽取）.zip
01-18
命名实体识别基于bert_bilstm_crf，识别出句子中的主体(subject)和客体(object)。相关功能在bert_bilstm_crf_ner下。存储的模型在bert_bilstm_crf_ner/checkpoints/bert_bilsm_crf/model.pt 关系抽取基于bert，识别...
当前知识抽取的主要技术方法解析
07-28
对 MnM、KIM、Text2Onto、Amilcare、Melita等具有知识抽取功能的系统所应用的技术方法进行解析。提出在当前知识抽取技术中,机器学习和自然语言分析两大思路各自得到较大发展,并且在相互融合、相互借鉴中受益。在基于机器学习的知识抽取方面,出现以自适应信息抽取 (Adaptive IE)、开放信息抽取 (Open IE)为代表的新思路,并且有向自动本体学习 (OntologyLearning)方向发展的趋势;在基于自然语言分析的知识抽取方面,基于模式标注、语义标注的方法得到广泛关注和进一步完善,并且有向基于 Ontology的信息抽取 (OBIE)方向发展的趋势。此外,为减少 Ontology建设成本,让人们可以利用简单的自然语言构建 Ontology,基于受控语言的信息抽取(CL IE)技术也得到一定的关注。
知识图谱构建工具使用方法
07-21
本体编辑器使用教程，知识库构建工具使用方法，快速入门
史上最大规模1.4亿中文知识图谱开源下载KnowledgeGraphData
11-03
史上最大规模1.4亿中文知识图谱开源下载KnowledgeGraphData
知识图谱建模工具.zip
09-23
知识图谱建模工具：protege-5.2.0+graphviz-2.38，参考王昊奋知识图谱课程
知识图谱-命名实体-关系-免费标注工具-快速打标签-Python3
10-31
这是一款实体关系联合标注的本地小程序，以Python3实现。本系统是一种标注文本语料中命名实体与关系或属性的半自动化软件系统，应用Python编程实现可视化界面和主要功能.
领域知识图谱-中式菜谱知识图谱：实现知识图谱可视化和知识库智能问答系统（KBQA)
07-03
领域知识图谱-中式菜谱知识图谱：实现知识图谱可视化和知识库智能问答系统（KBQA) + 一类菜品的不同具体做法，例如水煮鱼包括麻辣水煮鱼、小清新版水煮鱼和家常版水煮鱼等； + 通过菜品与食材的关联关系，可以查询...
人工智能-知识图谱-智慧农业-农业知识图谱(AgriKG)：农业领域的信息检索，命名实体识别，关系抽取，智能问答，辅助决策
07-03
Agricultural Knowledge Graph 由于工作原因，该项目已停止...华师大课题组在前期国家重点研发计划《大数据知识工程基础理论及其应用研究》研究基础上，在本项目中，基于碎片化农业大数据，构建面向智慧农业的知识图谱
命名实体识别工具——Stanza
某热心知名群众的博客
11-03 1932
简介 Stanza is a collection of accurate and efficient tools for many human languages in one place. Starting from raw text to syntactic analysis and entity recognition, Stanza brings state-of-the-art NLP models to languages of your choosing. 重点在于使用pytorch框架构建
数据结构知识图谱实体识别和关系抽取具体操作
05-27
数据结构知识图谱的实体识别和关系抽取是一个比较复杂的过程，需要多种技术和算法的支持。以下是一些具体的操作： 1. 实体识别：通过自然语言处理技术对文本进行分词、词性标注、命名实体识别等操作，识别出文本中的实体，如“栈”、“队列”等。 2. 关系抽取：通过语义角色标注等技术，对文本中的关系进行抽取，如“栈”和“队列”之间的包含关系。 3. 实体链接：将文本中的实体链接到知识图谱中的对应实体，如将文本中的“栈”链接到知识图谱中的“栈”实体。 4. 属性抽取：通过文本分析技术，抽取出实体的属性信息，如“栈”的特点是“先进后出”。 5. 知识图谱构建：将上述操作得到的实体、关系和属性信息，以图谱的形式进行构建，形成完整的数据结构知识图谱。 以上是数据结构知识图谱实体识别和关系抽取的一些具体操作，其中还需要用到机器学习、深度学习等相关技术，以提高实体识别和关系抽取的准确性和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值