C.4.4 Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】

已于 2023-04-07 16:15:03 修改
阅读量2.3k 收藏 8
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP/知识图谱：信息抽取专栏 NLP领域知识+项目+码源+方案设计 文章标签： 人工智能 自然语言处理 知识图谱 NLP 信息抽取算法
于 2022-07-16 15:33:08 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/125820427
该项目展示了如何使用Paddlenlp的UIE模型进行实体抽取，处理包括快递单和打车数据在内的结构化信息提取。通过小样本模型微调，提取目的地、出发地、时间、费用等关键信息，降低信息处理成本。数据集包括waybill.jsonl和doccano_ext.jsonl，涉及姓名、电话、省份、城市、地址和费用等实体。模型评估、预测和可视化功能一应俱全。

在这里插入图片描述
NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

在这里插入图片描述
专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等

前人栽树后人乘凉，本专栏提供资料：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等项目代码整合，省去你大把时间，效率提升。 帮助你快速完成任务落地，以及科研baseline。

文末含码源

0.背景介绍

本项目将演示如何通过小样本样本进行模型微调，快速且准确抽取快递单中的目的地、出发地、时间、打车费用等内容，形成结构化信息。辅助物流行业从业者进行有效信息的提取，从而降低客户填单

了解本专栏 订阅专栏 解锁全文
C.5 Paddlenlp之UIE关系抽取模型【高管关系抽取为例】
丨汀、的博客
07-25 3233
本项目将演示如何通过小样本样本进行模型微调，完成关系抽取。马云浙江省杭州市人,阿里巴巴集团主要创始人之一。现任阿里巴巴集团主席和首席执行官,他是《福布斯》杂志创办50多年来成为封面人物的首位大陆企业家，曾获选为未来全球领袖。任正非是中国大陆的民营电信设备企业一-华为公司的创始人兼总裁。他关于企业“危机管理”的理论与实践曾在业内外产生过广泛影响。马化腾，是腾讯主要创办人之一现担任公司控股董事会主席兼首席执行官。作为深圳土生土长的企业家,他曾在深圳大学主修计算机及应用，于1993年取得深大理学士学位。.....
Paddle_UIE模型信息抽取微调新手快速部署
Cynthialy_的博客
09-26 804
简短明晰：Schema的长度应尽量保持在7个字以内。如果超过这个字数限制，模型的识别效果可能会显著下降。例如：使用“是否满意”比“用户反馈是否满意”更好。与原文保持相似：Schema的命名应与待抽取文本中的内容高度相似。这种相似性有助于模型更好地理解抽取任务并匹配信息。例如：如果原文包含“产品质量”，Schema应定义为“产品质量”，而不是“产品属性”。符合常识和逻辑：Schema应尽量符合常识和逻辑推理，避免过于复杂或不合常理的定义。
基于PaddleNLP开源的抽取式UIE进行医学命名实体识别
hsling
09-10 1128
是Yaojie Lu等人在ACL-2022中提出了通用信息抽取统一框架。PaddleNLP借鉴该论文的方法，基于ERNIE 3.0知识增强预训练模型，开源了。本项目使用torch进行复现微调，并在CMeEE数据集上进行效果测试。本项目仅做了命名实体部分，后续会在ark-nlp项目中加入关系抽取和事件抽取等任务。
微调Paddle UIE模型实现命名实体抽取
xu_guo_jie的博客
04-20 2103
对uie模型进行微调的过程
Paddlenlp之UIE模型实战实体抽取任务【打车数据、快递单】
m0_63642362的博客
07-17 2088
本项目对可视化展示以及数据保存、数据导出进行项目细化。
UIE Slim医疗领域实体抽取：含serving部署、模型蒸馏，助力工业落地
热门推荐
m0_63642362的博客
06-02 1万+
医疗领域实体抽取：UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等详解，同时使用FasterTokenizer进行文本预处理加速，整体提速7.6x倍，助力工业应用场景快速落地。
基于PaddleNLP的快递单信息抽取-实体抽取
m0_63642362的博客
11-29 3403
应用飞桨PaddleNLP可以实现从用户提供的文字信息中快速抽取姓名、电话、省、市、区、详细地址等内容，形成结构化的信息可以很好地辅助物流行业从业者进行有效信息的提取，从而降低客户填单成本。
paddleNLP信息抽取模型实战（实体识别，关系抽取）
dream_home8407的博客
05-27 2983
通过对这三个级别的对象进行Masking（遮挡），使模型能够学习到语言知识中的语法知识和语义知识。如假设训练句子为【长沙是湖南省的省会城市】，随机遮挡掉地名实体【长沙】，则模型能够在一定程度上学习到【长沙】与【湖南省】的关系，即模型能够学习到更多语义知识。它将BERT中单词级别的MASK拓展成三种级别的Knowledge Masking，从而让模型学习到更多语言知识，在多项任务实践效果上超越了BERT。对于给定的自然语言句子，根据预先定义的schema集合，抽取出所有满足schema约束的SPO三元组。
【UIE模型-傻瓜式教程】飞桨AI Studio中fork实体抽取任务（打车、快递单）并运行教程
波点兔的博客
07-23 1119
注：由于这里用的是cpu，因此选择了uie-tiny模型。转换数据格式，并划分训练集、验证集和测试集。安装paddlenlp（
人工智能：PaddleNLP实战
Acegem的博客
12-30 1728
人工智能python，机器学习，深度学习，NLP，CV人工智能：PaddleNLP实战一、安装二、典例 python，机器学习，深度学习，NLP，CV 人工智能：PaddleNLP实战 一、安装 使用百度源安装（推荐） pip install --upgrade paddlenlp -i https://mirror.baidu.com/pypi/simple 使用阿里源安装 pip install --upgrade paddlenlp -i https://mirrors.aliyun.com/pypi
实体抽取数据集和论文.rar
11-22
有三个文件，1.经济方面的实体关系数据集 2.几篇中文实体论文 3.SemEval2010_任务8_实体关系抽取数据集
中文实体关系抽取数据集 Chinese-Literature-NER-RE-Dataset
10-05
基于几个可用的NER和RE数据集定义了7个实体标签和9个关系标签。实体(Entity)：每个实体都由带有多个属性的T标签标识。关系(Relation):每个关系由R标签标识，该标签可以具有多个属性。
SemEval2010_任务8_实体关系抽取数据集
03-19
SemEval2010 任务8 实体关系抽取数据集 已经标注的语料
亲测可用SemEval2010_任务8_实体关系抽取数据集.zip
12-03
SemEval2010 任务8 实体关系抽取数据集 已经标注的语料 从其他地方整理过来，欢迎下载使用！
实体抽取技术：数据集、论文与实践
weixin_33562004的博客
07-23 940
经济领域实体关系数据集通常由多个部分构成，包括文本数据、实体标签、关系标签以及相关的元数据。在这些数据集中，文本数据提供了实体出现的上下文环境，而实体和关系标签则指明了数据集中包含的具体信息和它们之间的联系。文本数据可以来自多种渠道，例如，政府公布的经济报告、学术论文、新闻报道等，它们需要经过清洗和格式化以确保质量和一致性。实体标签涵盖了如企业名称、个人名字、机构名称、经济指标等，这些是实体抽取技术需要识别和提取的关键信息。关系标签则定义了实体之间的具体关系，如属于、控制、竞争等。
Paddlenlp之UIE分类模型【以情感倾向分析新闻分类为例】含智能标注方案）
m0_63642362的博客
07-23 1809
本项目将对可视化、项目修改、数据标注（含智能标注）等知识进行讲解，并以情感倾向分析小样本数据作为样例进行展示
【实体关系抽取】之——CasRel关系抽取（Duie数据集）
m0_62339601的博客
04-06 3522
CasRel关系抽取，小白实训
C.4.5 PaddleNLP UIE--小样本快速提升性能（含doccona标注）
丨汀、的博客
06-07 7229
自动从无结构或半结构的文本中抽取出结构化信息的任务, 主要包含的任务包含了实体识别、关系抽取、事件抽取、情感分析、评论抽取等任务; 同时信息抽取涉及的领域非常广泛，信息抽取的技术需求高，下面具体展现一些示例 针对以上难题，中科院软件所和百度共同提出了一个大一统诸多任务的通用信息抽取技术 UIE（Unified Structure Generation for Universal Information Extraction），发表在ACL‘22。UIE在实体、关系、事件和情感等4个信息抽取任务、13个数据集
PaddleNLP UIE -- 药品说明书信息抽取(名称、规格、用法、用量）
weixin_40773219的博客
09-14 530
目录环境配置创建项目上传代码定制模型--训练代码结构数据标注准备语料库数据标注导出数据数据转换doccanoLabel Studio模型微调模型评估定制模型--预测效果 PaddleNLP UIE 实体关系抽取 -- 抽取药品说明书(名称、规格、用法、用量） 对于细分场景推荐使用轻定制功能（标注少量数据进行模型微调）以进一步提升效果 schema =['药品名称','用法','用量','频次']...
python uie信息抽取
最新发布
11-03
使用Python结合UIE进行信息抽取可按以下步骤进行： ### 模型选择 UIE有多种可用模型，在`taskflow`里设置`model`参数来选择，默认是“uie-base”。不同模型适用于不同语言和场景，具体如下： - `uie-base`：12 - layers，768 - hidden，12 - heads，适用于中文。 - `uie-base-en`：12 - layers，768 - hidden，12 - heads，适用于英文。 - `uie-medical-base`：12 - layers，768 - hidden，12 - heads，适用于中文医疗领域。 - `uie-medium`：6 - layers，768 - hidden，12 - heads，适用于中文。 - `uie-mini`：6 - layers，384 - hidden，12 - heads，适用于中文。 - `uie-micro`：4 - layers，384 - hidden，12 - heads，适用于中文。 - `uie-nano`：4 - layers，312 - hidden，12 - heads，适用于中文。 - `uie-m-large`：24 - layers，1024 - hidden，16 - heads，适用于中、英文。 - `uie-m-base`：12 - layers，768 - hidden，12 - heads，适用于中、英文 [^2]。 ### 数据准备 将标注数据转化成UIE训练所需数据，例如使用`label_studio.py`脚本： ```python python label_studio.py \ --label_studio_file ./document/data/label_studio.json \ --save_dir ./document/data \ --splits 0.8 0.1 0.1 \ --task_type ext ``` 此脚本把Label Studio格式的标注数据转换为UIE训练所需的数据，并且按指定比例划分训练集、验证集和测试集 [^4]。 ### 代码示例 以下是一个简单的Python代码示例，展示如何使用UIE进行信息抽取： ```python from paddlenlp import Taskflow # 选择模型，这里使用默认的uie-base ie = Taskflow('information_extraction', model='uie-base') # 待抽取信息的文本 text = "这是一段待抽取信息的示例文本。" # 定义抽取的schema schema = ['示例信息'] # 进行信息抽取 result = ie({'text': text, 'schema': schema}) print(result) ``` 在这个示例中，首先导入`Taskflow`，接着创建一个`information_extraction`任务流，选择`uie-base`模型。然后定义待抽取信息的文本和抽取的schema，最后调用任务流进行信息抽取并打印结果。 ### 适用抽取场景 UIE适用于多种信息抽取场景，如命名实体识别（Named Entity Recognition，简称NER）、关系抽取（Relation Extraction，简称RE）、事件抽取 (Event Extraction, 简称EE)、评论观点抽取、情感倾向分类、跨任务抽取等 [^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值