入门文档级关系抽取_数据集DocRED、CDR、GDA

作为学习文档级关系抽取的短暂总结与记录。主要是相关数据集问题，如果能帮助到其他人，我也是很开心的。

文档级关系抽取论文

网上有很多文档级关系抽取的综述，他们会告诉你有哪些经典文献需要阅读，我就不再搬运了，可能网上综述有些滞后，可以通过paperwithcode看当前的leaderboard来阅读大当前效果好的文献。

文档级关系抽取数据集

当前最常用的就是DocRED，还有两个常用的医学数据集CDR和GDA。

DocRED

• 数据集下载
  • GitHub地址: https://link.zhihu.com/?target=https%3A//github.com/thunlp/DocRED
  • Google :
  • 和鲸社区: https://www.heywhale.com/mw/dataset/63647c0fd28b18529a2326fb/file
  • 清华云:https://cloud.tsinghua.edu.cn/d/5d8628d7f0b6453a8d7c/ 和 https://cloud.tsinghua.edu.cn/d/99e1c0805eb64736af95/
• 最终文件结果如图所示：
• 文件介绍(只介绍有用的，其他的我不了解)

  • rel2id.json：关系“P1376”的序号是79，就是标签，类别是79，其他一样，应该是比较好理解

  • rel_info.json:关系信息，关系标签对应现实世界中的具体关系

  • train_annotated.json:标注的训练集，
    ```python

      		{
      		    "vertexSet":[{"pos": [0, 4], "type": "ORG", "sent_id": 0, "name": "Zest Airways, Inc."},....]
      		    # 所有的实体,name:实体是啥 type:实体类型 sen_id:该实体所在的句子的序号 pos：该实体的头实体和尾实体的位置
      		    "labels": [{"r": "P159", "h": 0, "t": 2, "evidence": [0]},....]
      		    # 标签，也就是有哪些三元组,r表示三元组的关系，
      		    # h是是头实体所在的位置,0就表示头实体是"vertexSet"列表中的第一个实体,
      		    # t表示尾实体,2表示尾实体是"vertexSet"列表中的第二个实体
      		    # evidence:证据句子,就是支持抽取这个三元组的证据，这个例子里面就是第0个句子支持抽取出本三元组
      		    "title":["AirAsia Zest"]
      		    # 本篇文章的标题
      		    "sents":[["Zest", "Airways", ",", "Inc.", "operated"],["It", "operated", "scheduled"]...]
      		    # 文章的所有句子(分词之后的),列表的第一个元素就是句子0
      		}
      	```
    

  • train_instant.json:远程监督数据集，除了没有证据句子之外，其他的和train_annotated.json一样

  • dev.json:验证集，内容格式和标注训练集一样

  • test.json：测试集，测试集没有labels，那么如何获得模型在测试集上的结果呢，需要将模型在测试集上的预测结果上传CodaLab,获得测试集的结果，

    • 1.注册，登录就不多说了
    • 2.Participate->Submit/View Results,提交就可以，提交必须是ZIP文件，文件名为result.zip，里面的json为result.json.

CDR和GDA数据集

这两个数据集非常难搞，花了我好长时间，因为我在网上没有找到处理好的，只有源文件，需要自己处理
如果你只想下载数据集，我在百度网盘上传了一份，
CDR:https://pan.baidu.com/s/1tomnS0ciGCt3mibKx9qZfw
提取码：love
GDA:https://pan.baidu.com/s/1hDsO8PYVnaBqfNftHrT9Ng
提取码：love
如果你想自己处理，可以按照下面的步骤来做（Linux系统，windows下不会，哈哈），来自于https://github.com/fenchri/edge-oriented-graph为基础，但在过程中有点问题，你可以按照他的来处理，望顺利，如果不行，按照下面的步骤

• 1.下载https://github.com/fenchri/edge-oriented-graph中的data_process文件，或者在网盘中下载链接：https://pan.baidu.com/s/1VmxWq2Vqa3bDDiQ42Zbygw提取码：love

• 2.进入data_process文件，在此文件夹目录下进行操作

• 3.下载CDR和GDA数据集

  • 第一种方法：

    	$ mkdir data && cd data
    	$ wget https://biocreative.bioinformatics.udel.edu/media/store/files/2016/CDR_Data.zip && unzip CDR_Data.zip && mv CDR_Data CDR
    	$ wget https://bitbucket.org/alexwuhkucs/gda-extraction/get/fd4a7409365e.zip && unzip fd4a7409365e.zip && mv alexwuhkucs-gda-extraction-fd4a7409365e GDA
    	$ cd ..	 ```
    

  • 第二种方法：可以直接在链接上下载压缩包，CDR:https://biocreative.bioinformatics.udel.edu/media/store/files/2016/CDR_Data.zip
    GDA:https://bitbucket.org/alexwuhkucs/gda-extraction/get/fd4a7409365e.zip
    下载完解压，分别改名CDR、GDA
  • 3：也可以在这里获得：CDR:https://pan.baidu.com/s/1W0P5H5Lct5zeGM5r4Lua1A
    提取码：love
    GDA:https://pan.baidu.com/s/1EhkyG4wK1Oy9fvKpNhrDbg
    提取码：love

• 4.下载数据生成工具和数据分割工具

  • 前提是有ruby，如果没有，可以下载安装 sudo apt-get install ruby-full,如果失败，先 sudo apt-get upgrade，如失败，百度吧

  • 下载GENIA Tagger

    $ cd data_processing
    $ mkdir common && cd common
    $ wget http://www.nactem.ac.uk/y-matsu/geniass/geniass-1.00.tar.gz && tar xvzf geniass-1.00.tar.gz
    $ cd geniass/ && make && cd ..
    

    如果无法下载出现404/500啥的错误，可以在这下载geniass-1.00.tar.gz,提取码love

  • 下载Sentence Splitter

    $ git clone https://github.com/bornabesic/genia-tagger-py.git
    $ cd genia-tagger-py 
    

    1.如果不能clone，在这下载genia-tagger-py，提取码love
    2.修改下载的文件中的makefile文件的第三行为： http://www.nactem.ac.uk/GENIA/tagger/geniatagger-3.0.2.tar.gz,
    3.然后

    $ make
    $ cd ../../
    

• 5.最后运行数据处理脚本就行了，cdr需要几分钟，gda需要两个小时

  $ sh process_cdr.sh
  $ sh process_gda.sh
  

暂时就这些，有问题大家可以提出来一起交流学习。