实战演练|从原理到应用：DeepKE框架介绍及简单使用

已于 2022-11-21 11:31:09 修改
阅读量7k 收藏 51
点赞数 9
分类专栏： 知识图谱系列 文章标签： python 自然语言处理 知识图谱 pytorch
于 2022-11-21 11:10:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30284057/article/details/127960607
版权

DeepKE框架介绍及简单使用

本文主要参考deepKE官方文档，以及deepKE官方框架源码https://github.com/zjunlp/DeepKE，我此时使用的DeepKE最新版本是2.1.1。

DeepKE框架介绍

DeepKE是一个开源的知识图谱抽取与构建工具，支持cnSchema、低资源、长篇章、多模态的知识抽取工具，可以基于PyTorch实现命名实体识别、关系抽取和属性抽取功能。同时为初学者提供了用户手册。

目前的DeepKE框架还在开发中，我下载的最新版本主要功能包括以下三点：

  • 命名实体识别(named entity recognition)，简称NER
  • 关系抽取(relation extraction)，简称为RE
  • 属性提取(attribute extraction)，简称为AE

框架包含了CNN,RNN,transformer,capsule,gcn,BiLSTM-CRF,预训练模型等，可以进行任意的调用。

下面是官方给出的framework：

官方framework

除了上面说的主要的三点外，deepKE还提供了更多的场景用来满足不同的需求，比如RE任务就包含了standard，low-resource(few-shot)，document-level和multimodal四种setting。

每一个使用场景都由三个模块组成，如上图所示，包含了，数据，模型和核心，

  • Data模块主要包含了标记化或者说分词，预处理和数据载入。
  • Model主要包含了主要使用的Module，编码器和前向传播
  • Core主要包含了Train，Evaluate和Predict三个方面的内容。

DeepKE的安装

就我个人体验而言，直接pip install deepke是可以的，但还需要做一些调整。下面我结合官方给出的安装方式，具体说明。

  1. 下载源代码

    git clone --depth 1 https://github.com/zjunlp/DeepKE.git

    git进行深拷贝下载源代码，其实这个下载不下载无所谓，你直接在GitHub中看也行，只要知道怎么用就可以，也可以直接在pycharm中看源码。

  2. 创建虚拟环境

    不论是Linux还是Windows，用python做一个新东西总得创建虚拟环境吧，官方也提供了 docker，我还不会用，这里只讲anaconda。

    anaconda创建环境：

    conda create -n deepke python=3.8

conda activate deepke

    直接pip安装即可。

    pip install deepke

    此时应该会进行很多的安装，等待即可，但在我写此文的时候的依赖包安装，有些是不符合环境需求的，可能需要更改。

  3. 简单使用(看第四步)

    这个直接看官方的，他以RE为例，其实就是拷贝数据，运行run.py。

  4. 配置环境

    大部分包在pip install deepke的时候已经给你安装完了，但是少量环境还需要变更。笔者的问题主要是torch的安装。根据写此文的时的版本，deepke所需的环境如下：

    python == 3.8

torch == 1.5
hydra-core == 1.0.6
tensorboard == 2.4.1
matplotlib == 3.4.1
transformers == 3.4.0
jieba == 0.42.1
scikit-learn == 0.24.1
pytorch-transformers == 1.2.0
seqeval == 1.2.2
tqdm == 4.60.0
opt-einsum==3.3.0
wandb==0.12.7
ujson

    实际上，当你打开源码时，里面的torch的版本要求是：

    torch >= 1.5 <=1.10

    但无论如何，直接pip安装的torch版本都不符合要求。需要自己更新版本。更重要的是，pip安装给你装的是cpu版本，不能通过cuda运行。可以去pytorch官网上找符合要求的版本来下载。我这里选择的是1.8.1的版本，下载的命令为：

    pip install torch==1.8.1+cu111 torchvision==0.9.1+cu111 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html

    要下载相适配的版本，否则可能是不能起作用的。

    在这之后，其他的一些小问题更新一下就可以了。这样，你就完成了deepKE框架使用前的准备工作。

注意：

  1. 如果你试图直接更新torch的版本为1.5.0的话，会报错的，因为版本不兼容。这个坑我已经替你踩过了。
  2. 如果还有编译错误，请用Linux虚拟机进行上述过程。

DeepKE框架各目录介绍

我们按照之前的提示，将DeepKE框架源码下载下来的目录应该如下：

- DeepKE    ## 整个项目的源代码
    - .github     ## 存放关于GitHub上的一些配置
    - docker   ## docker镜像
    - docs   ## 文档及配置
    - example   ## 一些使用的例子
    - pics  ## 一些文档中的以及模型的架构图
    - pretrained   ## 预训练说明文档
    - src   ## 源代码，安装后可以从import中直接引用的
    - tutorial-notebooks   ## 通过notebook形式的一些简单使用和说明
    .gitignore    ## 哪些文件不要上传到GitHub上，这里不用管
    CITATION.cff   ## 引用说明
    LICENSE   ## 授权协议
    README.md   ## 总体的说明，安装及简单使用也可以看这个
    README_CN.md   ## 总体对应的中文文档
    README_CNSCHEMA.md   ## DeepKE-cnSchema中文知识图谱框架说明，包含模型下载以及简单的说明和使用
    README_CNSCHEMA_CN.md  ## DeepKE-cnSchema相应中文说明
    README_TAG.md   ##  数据标注说明，包括人工标注和自动标注
    README_TAG_CN.md  ## 数据标注中文说明
    requirements.txt    ## 需要的环境
    setup.py    ## 打包说明文件

这里我没有展开二级目录，下面我将对每个文件夹及文件逐个讲解其作用：

非文件夹内容

这里指的是上面不带-的那些内容，都不是文件夹，即以下内容：

.gitignore    ## 哪些文件不要上传到GitHub上，这里不用管
CITATION.cff   ## 引用说明
LICENSE   ## 授权协议
README.md   ##重要！ 总体的说明，安装及简单使用也可以看这个
README_CN.md   ## 总体对应的中文文档
README_CNSCHEMA.md   ##重要！ DeepKE-cnSchema中文知识图谱框架说明，包含模型下载以及简单的说明和使用
README_CNSCHEMA_CN.md  ## DeepKE-cnSchema相应中文说明
README_TAG.md   ##重要！  数据标注说明，包括人工标注和自动标注
README_TAG_CN.md  ## 数据标注中文说明
requirements.txt    ##重要！ 需要的环境
setup.py    ## 打包说明文件

这里较为重要的文档为三个README文档，以及requirements的内容，其余可以省略不看。

  • requirements主要是整个项目所需要的环境，按照对应的包安装。
  • 第一个README介绍了版本更新及快速上手。
  • README_CNSCHEMA是对开箱即用的中文知识图谱框架进行的介绍，可以直接下载训练好的模型。
  • README_TAG是数据标注的说明，这个对于自定义的数据来说很重要。

接着是一些相对没那么重要的文件夹,主要是文档及说明：

- .github     ## 存放关于GitHub上的一些配置
  - ISSUE_TEMPLATE   ## 提交的issue时模板
    bug_report.md   ## bug提交模板
    feature_request.md   ## 提出的idea
    question_consult.md   ## 问题询问模板
  CODE_OF_CONDUCT.md   ## 贡献者盟约行为准则，类似道德规范之类的吧啦吧啦
  CONTRIBUTING.md   ## 贡献，也是一堆吧啦吧啦
  
- docker   ## docker镜像
  Dockerfile  ## 定制镜像文本文件，readme中有使用方法
  
- docs   ## 文档及配置
  - sildes  ## 一些PPT
    Slides-DeepKE-cn.pdf    ## 中文版的deepKE简介PPT
    Slides-DeepKE-en.pdf    ## 英文版的deepKE简介PPT
  - source  ## 文档的一些源
    - _static  ## 一些图和css
      - css   ##  一些css文件
        custom.css  ##   文档的css？这里我也不知道
      architectures.png  ## 架构图
      demo.gif  ## demo演示图
      logo.png  ## deepKE的logo
      wandb.png  ## Weights and Biases的图
    conf.py   ## 文档配置文件，不用管
    deepke.attribution_extraction.rst    ## 类似javadoc的功能说明文档，实际里面没啥东西…
    ## 还有很多，这里不列举了
  make.bat  ## windows make的脚本
  Makefile   ## 编译和链接程序的makefile文件

这里是三部分内容：

  • .github是在github上提交的文件的东西，对我们使用框架没有作用，可以省略不计，具体的内容可以自己看上面的注释。
  • dockers的内容主要就是一个docker镜像文本文件，在安装时如果需要可以用到。
  • docs中的内容较多，包含一些说明的PPT，文档的源，以及编译和链接所需要的脚本和makefile。

以上三个内容对于框架的使用是不起什么实际作用的。

**下面是重要的内容！**主要是使用的例子：

- example   ##重要！ 一些使用的例子
  - ae   ## 属性提取例子
    - standard   ##重要！ 常规使用
      - conf   ## 里面是各种模型配置，这里就不展开了
      predict.py   ## 预测的文件，如果是预测，主要调用这个
      README.md   ## ae使用例子的readme
      README_CN.md    ## 相应的中文文档
      requirements.txt   ## 需要的环境
      run.py   ## 训练模型的主函数
  - ee  ## 事件提取例子，新加的
    - standard   ## 常规使用
      - conf   ## 里面是各种模型配置，这里就不展开了
      - data   ## 包含data，预处理py文件及脚本
      predict.py   ## 预测的文件，如果是预测，主要调用这个
      README.md   ## ee使用例子的readme
      README_CN.md    ## 相应的中文文档
      requirements.txt   ## 需要的环境
      run.py   ## 训练模型的主函数
  - ner   ## 命名实体识别例子
    - few-shot   ## 低资源例子
      - conf   ## 里面是各种模型配置，这里就不展开了
      predict.py   ## 预测的文件，如果是预测，主要调用这个
      README.md   ## ner低资源使用例子的readme
      README_CN.md    ## 相应的中文文档
      requirements.txt   ## 需要的环境
      run.py   ## 训练模型的主函数
    - multimodal  ## 多模态例子，和前面差不多，自己看下
    - prepare-data  ## 重要！如何准备数据
      - pics  ## 图片
      prepare_weaksupervised_data.py   ## 弱监督准备数据脚本
      READ.md  ## 准备数据的文档，这个可以好好看看
      README_CN.md   ##相应的中文文档
    - standard  ## 常规例子，和前面差不多，自己看下，但是里面包含了数据，是可以直接用的。
  - re   ## 和ner中差不多，不再赘述
    去看ner和具体的代码
  - triple   ## 三元组例子，这里(重要注意)没有readme
    联合抽取，可以具体看代码，和 ae  standard的目录结构差不多

例子中包含了五个方面的内容，其中事件抽取是新加入的：

  • ae是属性抽取的例子，里面包含了常规的使用，主要是配置文件，以及启动的python文件。
  • ee是事件提取的例子，和ae中差不多，不同之处在于多了数据。
  • ner是命名实体识别的例子，包含了低资源，多模态，常规多个场景的例子，包含的文件与前面类似，主要不同在于给了如何准备数据的文件！
  • re是关系抽取的例子，和ner中类似
  • triple是联合三元组抽取的例子，这个地方没有readme！其他都相似。

最后一部分主要是教学内容：

- pics  ## 一些文档中的以及模型的架构图
  APCNN.jpg  ## APCNN架构图
  …   ## 还有一大堆，都是写文档用到的图片
  
- pretrained   ##重要！ 预训练说明文档
  readme.md   ## 使用预训练的说明文档
  README_CN.md   ## 对应的中文文档

- src   ##重要！ 源代码，安装后可以从import中直接引用的
  ## 这里就不介绍了，后面会出详细的介绍源码的文章

- tutorial-notebooks   ## 通过notebook形式的一些简单使用和说明
  - ae   ## 属性提取教程
    - standard   ## 常规的 notebook说明文档
  - ner   ## 命名实体识别教程
    - few-shot   ## 低资源的 notebook说明文档
    - multimodal   ## 多模态的 notebook说明文档
    - standard   ## 常规的 notebook说明文档
  - re   ## 关系抽取教程
    - document   ##  文档级别的 notebook说明文档
    - few-shot   ## 低资源的 notebook说明文档
    - multimodal   ## 多模态的 notebook说明文档
    - standard   ## 常规的 notebook说明文档

这里的四个文件夹的内容主要为：

  • pics中是各种源图片，不想管的可以不理。
  • pretrained是预训练说明文档，之后肯定会用到的，建议看看
  • src是源代码， 其中内容太多，之后会出文章详细讲解
  • tutorial-notebooks是通过notebook形式的一些简单使用和教程

每个文件我都做了详细的说明，在后面的注释中，可以打开看具体的详情，重要的文件已经标注了。如果有需要，可以下载源代码具体看是什么，制作上述说明不易~麻烦点个赞吧。💞

DeepKE的简单使用

这里是deepKE的简单的使用教程，首先是官方的文档说明给出的简单使用，以常规关系抽取为例。首先进入文件夹：

cd DeepKE/example/re/standard

然后去官方的给的网站下载数据集，或根据数据标注说明标注数据](https://github.com/zjunlp/DeepKE/blob/main/README_TAG_CN.md)%E6%A0%87%E6%B3%A8%E6%95%B0%E6%8D%AE)自己标定数据。

wget 120.27.214.45/Data/re/standard/data.tar.gz

tar -xzvf data.tar.gz

支持多种数据类型格式，具体请见各部分子README。

这里我已经帮你们下好了，data里面的内容是四个csv文件：

  • relation.csv(定义的关系集合)
  • test.csv(测试集)
  • train.csv(训练集)
  • valid.csv(验证集)

接着就是模型训练，训练用到的参数可在conf文件夹内修改

DeepKE使用wandb支持可视化调参

python run.py

然后使用模型进行预测。预测用到的参数可在conf文件夹内修改

修改conf/predict.yaml中保存训练好的模型路径。

python predict.py

补充：

这里可能存在不能运行的问题，请尝试以下方法：

请单独把src这个文件夹也就是deepke的代码文件，复制到/DeepKE-main/example/re/standard目录下。

RE(standard)更换数据:

给出的数据只需要sentence、relation、head、tail就行。head_offset和tail_offset读取数据的文件里面会自动计算。数据读取好后放在这个文件夹下：DeepKE/example/re/standard/data/origin/。需要按照例子中给出的划分出训练集，测试集和验证集。

另外，因为读入新的数据集，关系的数目变了，需要修改模型输出的节点个数。也就是你那个relation.csv的内容不同，就需要变更一下conf/embedding.yaml中的num_relation的关系数目。

总结

我们介绍了deepKE的基本内容，框架，对怎么安装，安装出现的问题进行了讲解，最重要的是给出了deepKE中的各个文件的作用，可以方便之后的学习和使用，最后给出了一些简单的使用方法。后面我们将继续使用DeepKE来做一些事情，继续介绍使用方法，同时补充对源码的介绍。

上学真难
关注
  • 9
    点赞
  • 踩
  • 51
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
专栏目录
开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM
开放知识图谱
06-19 7227
DeepKE-LLM链接：https://github.com/zjunlp/DeepKE/tree/main/example/llmOpenKG地址：http://openkg.cn/tool/deepkeGitee地址：https://gitee.com/openkg/deepke/tree/main/example/llm开放许可协议：Apache-2.0 license贡献者：浙江大学（张...
学习使用deepke
lyy_fighting的博客
03-11 2721
学习使用deepke
开放开源 | DeepKE：基于深度学习的开源中文关系抽取工具
开放知识图谱
09-27 9637
本文转载自公众号：浙大 KG。作者：余海阳机构：浙江大学代码地址: https://github.com/zjunlp/deepkeOpenKG 发布地址: http:/...
基于deepke构建红楼梦知识图谱
qq_22244821的博客
12-06 1453
基于deepke构建红楼梦知识图谱
安装DeepKE（Ubuntu虚拟机）
最新发布
qq_47753695的博客
06-14 343
使用anaconda创建虚拟环境，进入虚拟环境（本次安装直接迁移Centos7上的虚拟环境）1） 基于pip安装，直接使用 （
DeepKE发布新版本：支持低资源、长篇章、多任务的图谱抽取开源框架，开源开放
weixin_43564920的博客
03-05 1318
OpenKG地址：http://openkg.cn/tool/deepke GitHub地址：https://github.com/zjunlp/deepke Gitee地址：https://gitee.com/openkg/deepke DeepKE网站：http://deepke.zjukg.org/CN/index.html 开放许可协议：GPL 3.0 贡献者：浙江大学(张宁豫、陶联宽、徐欣、余海洋、叶宏彬、谢辛、陈想、黎洲波、李磊、梁孝转、姚云志、乔硕斐、邓淑敏、张文、郑国轴、陈华钧..
知识图谱框架DeepKE简单使用+关系抽取+小小bug修复
热门推荐
weixin_43918046的博客
11-05 1万+
一、关系抽取 知识图谱里面主要涉及两个很重要的领域：实体识别、关系抽取。当然，一般来说实体识别是关系抽取的前提条件，实体识别是序列标注的一种，通过将语句中的各种词的词性进行标注作为标签放入模型中训练，便可进行识别。当一段话能被识别出具体的实体信息后，我们便可以做关系抽取，关系抽取逻辑也比较简单，最简单是是三元组POI， 也即(吴京，战狼，主演)。其中实体head为吴京，实体tail为战狼，关系为主演，那么词性呢？吴京词性是人名，战狼词性是电影名或影视剧名。 如何实现的关系抽取，一般训练的数据是带有标签的，比
deepke使用过程问题汇总
qq_22244821的博客
12-08 1242
deepke使用过程问题汇总，进行红楼梦实体识别
Python库 | deepke-0.2.52.tar.gz
05-14
资源分类：Python库 所属语言：Python 资源全名：deepke-0.2.52.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
【deepKE做NER教程】调bug！lstmcrf和bert均跑通
weixin_45666317的博客
07-17 1323
目前关于deepke的实战教程大多数是以re关系抽取作为演示的，ner的代码和教程通过readme也能跑也能做，不过还是会有一些bug，这里将我实验过程中的步骤，以及遇到的bug、且如何调整，给大家分享一下。
DeepKE-main.zip
12-04
DeepKE 是一个支持低资源、长篇章的知识抽取工具，可以基于PyTorch实现命名实体识别、关系抽取和属性抽取功能。
Python库 | deepke-0.2.81.tar.gz
03-02
python库。 资源全名：deepke-0.2.81.tar.gz
PyPI 官网下载 | deepke-0.2.41.tar.gz
01-27
资源来自pypi官网。 资源全名：deepke-0.2.41.tar.gz
DeepKE压缩包，支持NLP
05-11
DeepKE压缩包，支持NLP
计算机视觉实战演练：算法与应用_思维导图1
08-03
计算机视觉是信息技术领域的一个重要分支，它涉及到图像处理、机器学习和深度学习等多个技术的交叉应用。本实战演练深入探讨了计算机视觉的算法及其在实际中的应用，旨在帮助读者掌握核心概念并提升解决视觉问题的...
高校数据库原理及应用期末真题：SQL与关系模型实战精解
05-04
本资源合集精心整理了一系列高校数据库课程的期末考试真题及详细答案解析，专注于SQL查询语言和关系数据库模型的实战应用。内容覆盖了数据库设计的基本原则、函数依赖、范式理论、ER图转换、事务处理、并发控制等多...
高校数据库原理及应用期末真题集：SQL技术与ER模型实战解析
05-04
使用场景及目标包括：高效复习数据库课程的重点难点，深入理解并掌握SQL语言的高级应用，学习如何设计和优化数据库结构，提高解决复杂数据库问题的能力。通过真题实战演练，用户可以在实际考试或工作中游刃有余，为...
FPGA设计实战演练(高级技巧篇)
11-16
一生中有幸成为新发现或新思想的一部分的机会屈指可数。某些思想或革新会极大地改变...Xilinx坚定地相信串行连接功能解决方案最终将应用到可能的电子产品的方方面面。简单地举几个例子， 这种解决方案可用于芯片到芯片
rk3568 android11从入门到实战项目专栏目录及介绍
10-24
rk3568 android11从入门到实战项目专栏是一本关于使用rk3568芯片开发Android 11应用的指南和实践教程。本专栏包含多个章节，主要围绕rk3568芯片和Android 11进行介绍和讲解，旨在帮助读者了解如何使用rk3568芯片进行应用开发，并将所学知识应用到实际项目中。 目录和介绍如下： 第一章：rk3568简介 本章主要介绍了rk3568芯片的基本信息，包括其性能特点、硬件规格以及适用的应用场景等。读者将通过本章了解到rk3568芯片的工作原理和基本特性。 第二章：Android 11简介 本章将介绍Android 11的特性和更新内容，包括新的用户界面、增强的隐私和安全特性，以及其他一些性能优化和功能改进。读者将了解到Android 11相较于之前的版本有哪些改进和新功能。 第三章：rk3568开发环境搭建 本章将指导读者如何搭建rk3568开发环境，包括SDK的安装、驱动的配置以及相关工具的设置等。通过本章的学习，读者将具备开发rk3568应用所需的基本环境。 第四章：Android应用开发基础 本章将介绍Android应用开发的基本知识，包括Android应用架构、布局设计、界面元素及交互等方面的内容。读者将通过本章学习到如何基于Android平台进行应用开发。 第五章：rk3568与Android 11集成开发 本章将介绍如何将rk3568芯片与Android 11进行集成开发，包括相关API的使用、硬件调用、外设控制等方面的内容。读者将学习到如何充分发挥rk3568与Android 11的协同作用，实现更强大的功能和扩展性。 第六章：实战项目案例 本章将以实际项目案例为基础，通过实践演练来加深读者对rk3568与Android 11开发的理解和掌握程度。项目案例将包括应用程序的设计、开发和测试等环节，并结合rk3568芯片的特性和Android 11的功能来实现一个完整的实际应用。 通过学习本专栏，读者将掌握使用rk3568芯片进行Android 11应用开发的基本技能和知识，并能够在实际项目中运用所学知识。这对于对rk3568芯片和Android 11开发感兴趣的从业人员和学习者来说，将是一本实用的学习资料和指导手册。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值