菜鸟笔记-信息抽取模型UIE代码学习-数据准备

最新推荐文章于 2024-06-01 12:00:00 发布
最新推荐文章于 2024-06-01 12:00:00 发布
阅读量2k 收藏 18
点赞数 6
分类专栏： 信息抽取论文阅读笔记 文章标签： 学习 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wmq104/article/details/129613296
版权

数据准备

说明：UIE是基于Prompt的通用信息抽取框架，本文为个人学习UIE代码的笔记，学的过程中简单翻译了一下数据准备部分readme（顺序按实际处理过程有所调整），自己添加的说明都在引用格式里。

论文：Unified Structure Generation for Universal Information Extraction。

源代码：https://github.com/universal-ie/UIE

本内容所在文件夹：dataset_processing

目录结构：

.
├── converted_data/   # Final converted datasets
├── data/             # Raw data
├── data_config/      # Dataset config
├── README.md
├── run_data_generation.bash  # Convert all datasets
├── run_sample.bash           # Sample low-resource datasets
├── scripts/                  # Scripts for preprocessing
├── uie_convert.py            # Main Python File
└── universal_ie/             # Code for preprocessing

数据集预处理

使用了以下前人所做的数据预处理工作：

DatasetPreprocessing
ACE04mrc-for-flat-nested-ner
ACE05mrc-for-flat-nested-ner
ACE05-Relsincere
CoNLL 04sincere
NYTJointER
SCIERCdygiepp
ACE05-EvtOneIE
CASIECASIE, Our preprocessing code see here.
14lapBARTABSA
l4resBARTABSA
15resBARTABSA
16resBARTABSA

ABSA

git clone https://github.com/yhcc/BARTABSA data/BARTABSA
mv data/BARTABSA/data data/absa

没有问题，按照原文可以下载，如果git clone网速过慢，可以直接去下载BARTABSA库，再从里面把数据拷贝到相应目录。

Entity（实体抽取）

# CoNLL03 这个下下来直接放在data/conll03文件夹下
mkdir data/conll03
wget https://raw.githubusercontent.com/synalp/NER/master/corpus/CoNLL-2003/eng.train -P data/conll03
wget https://raw.githubusercontent.com/synalp/NER/master/corpus/CoNLL-2003/eng.testa -P data/conll03
wget https://raw.githubusercontent.com/synalp/NER/master/corpus/CoNLL-2003/eng.testb -P data/conll03

# gdown >= 4.4.0
pip install -U gdown
mkdir data/mrc_ner
# ACE04
gdown 1U-hGOgLmdqudsRdKIGles1-QrNJ7SSg6 -O data/mrc_ner/ace2004.tar.gz
tar zxvf data/mrc_ner/ace2004.tar.gz -C data/mrc_ner

# ACE05
gdown 1iodaJ92dTAjUWnkMyYm8aLEi5hj3cseY -O data/mrc_ner/ace2005.tar.gz
tar zxvf data/mrc_ner/ace2005.tar.gz -C data/mrc_ner

CoNLL03我自己的电脑下不下来，是通过aistudio（百度ai平台，在平台上运行上述代码）下载后，又从aistudio中下载的；

ACE04、ACE05自己电脑、aistudio都下不下来，gdown被q了没办法，自己买太贵（好像1500刀）放弃。

Relation（关系抽取）

NYT
mkdir data/NYT-multi
wget -P data/NYT-multi https://raw.githubusercontent.com/yubowen-ph/JointER/master/dataset/NYT-multi/data/train.json
wget -P data/NYT-multi https://raw.githubusercontent.com/yubowen-ph/JointER/master/dataset/NYT-multi/data/dev.json
wget -P data/NYT-multi https://raw.githubusercontent.com/yubowen-ph/JointER/master/dataset/NYT-multi/data/test.json

自己电脑运行指令没连上，通过aistudio运行上述命令下的，也可以下载JointER代码下载后从中找到该数据，并拷贝到data/NYT-multi文件夹。

CoNLL04/ACE05-rel
  1. 使用了来自 sincere 库的预处理方法，并将数据处理为相同的格式。使用下述结构来预处理 CoNLL04 和 ACE05-rel 数据集，将其放置于 data/sincere/目录下。
 $ tree data/sincere/
data/sincere/
├── ace05.json
└── conll04.json

conll04可以通过下载 sincere 库下下来，ace05-rel放弃。

  1. 将 conll/ace05-rel 转化为 sincere 的格式
python scripts/sincere_processing.py

PS：由于没有下载到ACE05-rel，因此需要将scripts/sincere_processing.py中的第26行中的’ace05’删除，如下图所示：

在这里插入图片描述

代码操作：将一个文件划分成train、test、dev三个，保存格式改成每行一个样本，样本关键字[‘relations’]改为[]‘span_pair_list’]，[‘entities’]改为[‘span_list’]，每个entity的结束索引（[‘end’]）减1。

运行后在data/relation/conll04目录能够看到转换后的数据。

在这里插入图片描述

SciERC

首先使用来自 DyGIE 库对于SciERC的预处理代码。请将在dygiepp 的 collated_data目录下的处理过的数据集放到如下目录

ps:这个里面引用的数据挺多，回头需要数据可以来看看

$ tree data/dygiepp
data/dygiepp
└── scierc
    ├── dev.json
    ├── test.json
    └── train.json

这个要先下载dygiepp 的代码，然后通过代码中bash scripts/data/get_scierc.sh下载并处理数据，我这还是wget连接失败，直接在get_scierc.sh中复制下载连接。

http://nlp.cs.washington.edu/sciIE/data/sciERC_raw.tar.gz
http://nlp.cs.washington.edu/sciIE/data/sciERC_processed.tar.gz

第一个直接下，第二个600M+用迅雷下，500kb/s+。

接下来将文件拷贝到data/scierc，运行scripts/data/get_scierc.sh后面部分

out_dir=data/scierc
mkdir $out_dir

# Decompress.
tar -xf $out_dir/sciERC_raw.tar.gz -C $out_dir
tar -xf $out_dir/sciERC_processed.tar.gz -C $out_dir

# Normalize by adding dataset name.
python scripts/data/shared/normalize.py \
    $out_dir/processed_data/json \
    $out_dir/normalized_data/json \
    --file_extension=json \
    --max_tokens_per_doc=0 \
    --dataset=scierc

# Collate for more efficient non-coref training.
python scripts/data/shared/collate.py \
    $out_dir/processed_data/json \
    $out_dir/collated_data/json \
    --file_extension=json \
    --dataset=scierc

然后将scierc的格式转化为与CoNLL04/ACE05-Rel相同。

mkdir -p data/relation/scierc
python scripts/scierc_processing.py

Event（事件抽取）

ACE05-Evt

ACE05-Evt 的预处理代码使用了 OneIE 的，请使用以下指令并将预处理后的数据集放在 data/oneie：

## OneIE Preprocessing, ACE_DATA_FOLDER -> ace_2005_td_v7
$ tree data/oneie/ace05-EN 
data/oneie/ace05-EN
├── dev.oneie.json
├── english.json
├── english.oneie.json
├── test.oneie.json
└── train.oneie.json

提示:

  • 实验中使用了nltk==3.5 ，使用nltk==3.6+ 可能会导致句子数量变化。

没有搞到这个数据

CASIE

casie的预处理代码在 data/casie目录.请使用以下指令进行处理

cd data/casie
bash scripts/download_data.bash
bash scripts/download_corenlp.bash
bash run.bash
cd ../../

直接运行失败了，看脚本依次处理：

scripts/download_data.bash 先下载了CASIE库，并将数据找到拷贝出来，并用命令行删除file_id为999 10001 10002的三个包含某些错误的文件。

scripts/download_corenlp.bash 下载corenlp 网速很慢，把文件中的链接复制，使用迅雷下载，速度会快一些。

最后将文件复制、解压到相应目录。

快速数据处理指令

  1. 根据数据集预处理内容准备数据 Dataset preprocessing

    运行前将data_config中的所有没有搞到的数据集的配置文件全部删掉，不删可能会因为抛出异常跳过同类数据集。

    $ tree data_config
data_config
├── absa
│   ├── pengb_14lap.yaml
│   ├── pengb_14res.yaml
│   ├── pengb_15res.yaml
│   └── pengb_16res.yaml
├── entity
│   └── conll03.yaml
├── entity_zh
│   └── zh_weibo.yaml
├── event
│   └── casie.yaml
└── relation
    ├── conll04.yaml
    ├── NYT-multi.yaml
    └── scierc.yaml

  2. 运行bash run_data_generation.bash 生成所有数据集，最终生成的目录。
    在这里插入图片描述

  3. 运行bash run_sample.bash 采样形成低资源数据集

转换详细步骤说明

  1. 读取数据集配置文件并自动查找读取数据的任务格式（task_format ）类 ；
  2. 基于配置文件，任务格式实例读取数据；
  3. 根据不同的生成格式（generation_formats）生成对应格式的数据；
  • 读取配置文件中的表情映射用于修改原始标注中的标签名
  • 生成数据文件格式

数据集设置示例

# data_config/entity/conll03.yaml
name: conll03               # Dataset Name
path: data/conll03  # Dataset Folder
data_class: CoNLL03         # Task Format
split:                      # Dataset Split
  train: eng.train
  val: eng.testa
  test: eng.testb
language: en
mapper: # Label Mapper
  LOC: location
  ORG: organization
  PER: person
  MISC: miscellaneous

 $ tree converted_data/text2spotasoc/entity/conll03
converted_data/text2spotasoc/entity/conll03
├── entity.schema
├── event.schema
├── record.schema
├── relation.schema
├── test.json
├── train.json
└── val.json

Example of entity

{
  "text": "EU rejects German call to boycott British lamb .",
  "tokens": ["EU", "rejects", "German", "call", "to", "boycott", "British", "lamb", "."],
  "record": "<extra_id_0> <extra_id_0> organization <extra_id_5> EU <extra_id_1> <extra_id_0> miscellaneous <extra_id_5> German <extra_id_1> <extra_id_0> miscellan
eous <extra_id_5> British <extra_id_1> <extra_id_1>",
  "entity": [{"type": "miscellaneous", "offset": [2], "text": "German"}, {"type": "miscellaneous", "offset": [6], "text": "British"}, {"type": "organization", "offset": [0], "text": "EU"}],
  "relation": [],
  "event": [],
  "spot": ["organization", "miscellaneous"],
  "asoc": [],
  "spot_asoc": [{"span": "EU", "label": "organization", "asoc": []}, {"span": "German", "label": "miscellaneous", "asoc": []}, {"span": "British", "label": "miscellaneous", "asoc": []}]
}

小样本数据集采样

See details in run_sample.bash, it will generate all low-resource datasets for experiments.

bash run_sample.bash

Low-ratio smaple

 $ python scripts/sample_data_ratio.py -h
usage: sample_data_ratio.py [-h] [-src SRC] [-tgt TGT] [-seed SEED]

optional arguments:
  -h, --help  show this help message and exit
  -src SRC
  -tgt TGT
  -seed SEED

Usage: sample 0.01/0.05/0.1 of training instances for low-ratio experiments

python scripts/sample_data_ratio.py \
  -src converted_data/text2spotasoc/entity/mrc_conll03 \
  -tgt test_conll03_ratio

N-shot Sample

 $ python scripts/sample_data_shot.py -h
usage: sample_data_shot.py [-h] -src SRC -tgt TGT -task {entity,relation,event} [-seed SEED]

optional arguments:
  -h, --help            show this help message and exit
  -src SRC              Source Folder Name
  -tgt TGT              Target Folder Name, n shot sampled
  -task {entity,relation,event}
                        N-Shot Task name
  -seed SEED            Default is None, no random

Usage: sample 1/5-10-shot of training instances for low-shot experiments

python scripts/sample_data_shot.py \
  -src converted_data/text2spotasoc/entity/mrc_conll03 \
  -tgt test_conll03_shot \
  -task entity

Note:

  • -task indicates the target task: entity, relation and event
青萍之默
关注
  • 6
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
信息抽取UIE
NLP与推荐算法
03-07 1017
信息抽取中的事件抽取
基于百度uie的关系抽取.zip
01-18
pytorch_uie_re 基于pytorch的百度UIE关系抽取，源代码来源：here。 百度UIE通用信息抽取的样例一般都是使用doccano标注数据，这里介绍如何使用通用数据集，利用UIE进行微调。 依赖 torch>=1.7.0 transformers==4.20.0 colorlog colorama
UIE: 信息抽取的大一统模型
shawroad的博客
07-24 5019
信息抽取通常包含常见的四个子任务: 实体抽取、关系抽取、事件抽取以及情感分析等。在过去，因为不同的任务识别的实体、事件类型等等都不一样，所以针对特定的任务要训练特定的模型，定制化较高，不具有通用性。...
聊聊从大模型来看NLP解决方案之UIE
最新发布
m0_63171455的博客
06-01 1389
自然语言处理NLP任务的实现，相比较以前基于传统机器学习算法实现方法，现在越来越集中使用大模型来实现。通过——数据标注-模型训练-模型调优/微调-模型压缩-预测部署的大模型流程，覆盖NLP多场景满足开发者落地实现与灵活定制的需求。PaddleNLP是其中典型的NLP解决方案库，通过聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。预训练基座模型主要以ERINE系列大模型为主，毕竟是自家的噻。
通用信息抽取 UIE(Universal Information Extraction)
思念可是反的博客
08-31 6643
通用信息抽取 - UIE 预训练模型(实体抽取、关系抽取、事件抽取、情感分析等任务)
智慧城市-疫情流调系列2-Prompt-UIE信息抽取
qq_15821487的博客
09-28 1187
智慧城市-疫情流调系列1-Prompt-UIE信息抽取
信息抽取(UIE)：使用自然语言处理技术提升证券投资决策效率
02-25 1406
作为一名资深项目经理，我曾领导一个关键项目，旨在通过先进的信息抽取技术，从海量的文本数据中提取关键事件，如企业并购、新产品发布以及政策环境的变动。然而，为了适应特定的信息需求，如证券市场的事件识别，这些预训练模型需要进行任务特定的微调。例如，当一家制药公司宣布获得新药批准时，我们能够自动抽取出与此事件相关的所有实体，如药物名称、研发阶段、预期市场等，并构建出事件的完整图景。最后，我们解析返回的JSON数据，并输出了抽取结果，包括实体文本、在原文中的起始和结束位置以及抽取的准确率。
信息抽取(UIE)技术：让保险理赔信息处理流程便捷高效
02-27 1456
在理赔过程中，用户上传的理赔资料，如医疗记录、事故报告等，需要被准确解读以提取关键信息，如疾病诊断、治疗费用等，这些信息对于案件的准确理赔至关重要。为了解决这一问题，我们引入了一种创新的保险案件信息抽取的置信度评估方法，该方法通过深度学习技术，不仅提取关键信息，还对信息抽取过程的特征进行分析，从而提高了置信度评估的准确性。这些资料中蕴含着大量的关键信息，比如患者的疾病诊断、治疗费用、事故责任方等，但这些信息往往分散在文本的不同部分，而且格式各异，给信息的提取和整合带来了巨大的挑战。
UWGAN_UIE:UWGAN的源代码-Source code world
03-25
UWGAN将彩色图像及其深度图作为输入，然后通过生成对抗性训练学习参数，从而基于水下光学成像模型合成水下真实图像。 您可以在找到更多详细信息。 通过UWGAN合成的水下样式图像。 （a）是空中样本图像，（b）-（d）...
智能标注：基于Labelstudio的UIE半监督深度学习的智能标注方案码源
03-30
精度更高：智能标注采用了先进的人工智能技术，能够对图像进行深度学习和处理，能够生成更加准确和精细的标注结果，特别是对于一些细节和特征的标注，手动标注往往存在误差较大的问题。 自动纠错：智能标注可以自动...
foo_uie_lyrics3-0.5
03-01
《foo_uie_lyrics3-0.5》是一款专为音乐播放软件foobar2000设计的歌词显示插件，它的主要功能是增强播放器的歌词显示能力，为用户提供更丰富的视听体验。在深入探讨这款插件之前，我们首先需要了解foobar2000这个...
uie_prototype
05-26
下一代书包-原型 :paintbrush: 典型的网络应用程序，用于演示和评估包的绘图功能。 发展 在本地开发时，使用Fetch API会导致跨源请求问题。 可以通过多种方式来规避此问题： 在Firefox中禁用严格来源策略 打开about:console 搜索规则security.fileuri.strict_origin_policy并将其设置为false 使用本地开发服务器 通过Python 2 python -m SimpleHTTPServer 通过Python 3 py -m http.server 通过http-server模块http-server 用法 将原型托管在Web服务器，GitHub Pages上，或通过ngrok隧道传输localhost 在平板电脑或台式机上打开URL 内置 HTML，CSS，JS fabric.js 作者 Sandra 原型开发 Vincent
UIE-beta
03-13
"UIE-beta"可能是一个UIE项目的测试版本，旨在优化用户体验并提高产品交互效率。在这个特定的场景下，我们关注的是与CSS相关的知识，CSS（Cascading Style Sheets）是用于描述网页及应用程序界面外观和表现的一种...
图文实录｜UIE：基于统一结构生成的通用信息抽取
langboat_mengzi的博客
11-17 1135
​第二期澜舟分享会邀请到来自中科院软件所中文信息处理实验室研究员韩先培分享演讲“UIE：基于统一结构生成的通用信息抽取”。 ​
小样本UIE 信息抽取微调快速上手(不含doccona标注)
周周的专栏
08-16 2294
知其然也知其所以然，能到快速上手阶段，肯定已经了解了UIE的一些相关介绍，这里仅从偏实践角度，简短剖析一下任务细节，具体介绍可参照官方github。UIE(Universal Information Extraction) 针对少样本、低资源、不同领域等场景，实现从非结构化文本中抽取结构化信息，包含了实体识别、关系抽取、事件抽取、情感分析、评论抽取等任务。该任务的亮点在于：（1）将多任务的信息抽取统一为一个抽取模板。
【自然语言处理】【信息抽取】UIE：用于通用信息抽取的统一结构生成
bqw的博客
04-26 4413
用于通用信息抽取的统一结构生成 《Unified Structure Generation for Universal Information Extraction》 论文地址：https://arxiv.org/pdf/2203.12277.pdf 一、简介 ​ 信息抽取(IE\text{IE}IE)的目标是从无结构化文本中识别和结构化用户指定的信息。IE\text{IE}IE任务由于不同的目标(实体、关系、事件、情感等)、不同的结构(spans、triplets、record等)和特定的需求模式而高度的
一种基于Prompt的通用信息抽取（UIE）框架
阿里技术
11-08 4640
本文将为大家介绍一种基于Prompt的通用信息抽取框架，实验表明该模型具备优秀的小样本微调能力。
关键信息抽取：UIE模型做图片信息提取全流程
datayx的文章
02-18 652
向AI转型的程序员都关注了这个号????????????首先上个图镇场子，里面红底的就是做图片信息提取，所需要重点关注的文件UIE理论部分UIE原始论文论文阅读笔记UIE(Universal Information Extraction)：Yaojie Lu等人在ACL-2022中提出了通用信息抽取统一框架UIE。该框架实现了实体抽取、关系抽取、事件抽取、情感分析等任务的统一建模，并使得不同任务间具备良好的迁移和泛...
通用信息抽取技术UIE产业案例解析，Prompt 范式落地经验分享！
weixin_40920183的博客
02-24 309
想了解用户的评价究竟是“真心夸赞”还是“阴阳怪气”？想快速从多角色多事件的繁杂信息中剥茧抽丝提取核心内容？想通过聚合相似事件准确地归纳出特征标签？……想了解UIE技术在产业中的实战落地经验？通用信息抽取技术 UIE 产业案例分享来了！近期Prompt 范式备受关注，实际上，Prompt 思想在产业界已经有了一些成功的应用案例。由中科院软件所和百度共同提出了大一统诸多任务的通用信息抽取技术UIE（U...
PaddleNLP开源的通用信息抽取模型UIE为什么支持零样本抽取
05-01
PaddleNLP开源的通用信息抽取模型UIE支持零样本抽取，是因为UIE采用了基于预训练语言模型的信息抽取方法，该方法将预训练语言模型与抽取模型进行联合训练，使得抽取模型可以通过上下文理解实体的语义信息，从而在遇到未见过的实体时依然可以进行抽取。具体而言，UIE使用了一种称为“标签蒸馏”的技术，通过将已有的标记样本转化为概率分布，然后将这些分布作为模型的监督信号进行训练，使得模型可以从标注数据中学习到实体的语义信息，从而在遇到未见过的实体时也可以进行抽取。因此，UIE可以支持零样本抽取，这是其在信息抽取领域的一个重要优势。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值