FastDeploy UIE 模型 Python 部署示例：GPU、CPU版本安装依赖

最新推荐文章于 2024-09-26 17:54:37 发布
最新推荐文章于 2024-09-26 17:54:37 发布
阅读量1.3k 收藏 1
点赞数 1
分类专栏： 问题合集 文章标签： python 开发语言 深度学习 人工智能
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/131744979
版权
问题合集 专栏收录该内容
6 篇文章 0 订阅 ¥399.90 ¥499.90
订阅专栏
本教程详细介绍了如何在GPU和CPU环境下使用Python部署FastDeploy UIE模型，包括环境要求、依赖安装、快速启动及高阶用法。支持的推理引擎包括Paddle Inference、ONNX Runtime、OpenVINO和TensorRT。
摘要由CSDN通过智能技术生成

FastDeploy UIE 模型 Python 部署示例

在部署前，参考 FastDeploy SDK 安装文档安装 FastDeploy Python SDK。

本目录下提供 infer.py 快速完成在 CPU/GPU 的通用文本分类任务的 Python 部署示例。

0.FastDeploy 预编译库安装

FastDeploy提供各平台预编译库，供开发者直接下载安装使用。当然FastDeploy编译也非常容易，开发者也可根据自身需求编译FastDeploy。

0.1GPU部署环境

0.1.1 环境要求

  • CUDA >= 11.2
  • cuDNN >= 8.0
  • python >= 3.6
  • OS: Linux(x64)/Windows 10(x64)

支持CPU和Nvidia GPU的部署，默认集成Paddle Inference、ONNX Runtime、OpenVINO以及Tens

了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
专栏目录
订阅专栏
FastDeploy：实现快速部署的80类物体检测应用解决方案
sybh的博客
06-23 601
FastDeploy是一种基于云端的模型部署工具，旨在简化深度学习模型的部署流程。FastDeploy提供了丰富的API和友好的用户界面，使得用户无需关注底层的技术细节，就能快速将模型部署到云端或边缘设备上。FastDeploy是一款全场景、易用灵活、极致高效的AI推理部署工具。提供超过 🔥160+ Text，Vision， Speech和跨模态模型📦开箱即用的部署体验。
F.1【性能优化模型压缩】UIE_Slim满足工业应用场景，解决推理部署耗时问题，提升效能，知识蒸馏，模型剪裁。
丨汀、的博客
09-27 941
测试硬件情况：1点算力卡对应的：V100 32GBCPU4 CoresRAM32GBDisk100GB模型模型计算运行时间precisionrecallF1uie-base0.692770.723270.70769uie-mini0.741380.540880.62545uie-micro0.747570.484280.58779uie-nano24.89377610.742860.490570.59091蒸馏mini0.7732。
【Python】Python3.6版本正确安装Fastdeploy（含安装使用时报错及解决方法）
sekiro_chen的博客
02-20 1779
1. 检查电脑上是否有Visual Studio相关组件，若没有，最好按参考文献[1]中的步骤进行安装，否则可能影响使用。2. Python版本为3.6时，安装Fastdeploy时需要注意指定opencv-python版本为3.6可安装的版本，否则使用.whl文件安装时会默认安装最新版本的opencv-python，会导致报错。
【UIE模型-傻瓜式教程】飞桨AI Studio中fork实体抽取任务（打车、快递单）并运行教程
波点兔的博客
07-23 818
注：由于这里用的是cpu，因此选择了uie-tiny模型。转换数据格式，并划分训练集、验证集和测试集。安装paddlenlp（
fastdeploy部署多线/进程paddle ocr（python flask框架 ）
every place is the center of the universe
08-23 2730
安装cpu：命令：多线程多进程。
FastDeploy 安装教程
ch_ccc的博客
11-26 2038
FastDeploy 简单 部署
全场景、简单易用、极致高效！新一代AI部署工具FastDeploy来了！
gzq0723的博客
12-13 1546
人工智能产业应用发展的越来越快，开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言，为AI开发者项目落地带来极大的挑战。为了解决AI部署落地难题，我们发布了新一代面向产业实践的推理部署工具FastDeploy。FastDeploy旨在为AI开发者提供模型部署最优解，具备全场景、简单易用、极致高效三大特点(下文将详细解读)。开...
C.4.5 PaddleNLP UIE--小样本快速提升性能（含doccona标注）
丨汀、的博客
06-07 6290
自动从无结构或半结构的文本中抽取出结构化信息的任务, 主要包含的任务包含了实体识别、关系抽取、事件抽取、情感分析、评论抽取等任务; 同时信息抽取涉及的领域非常广泛，信息抽取的技术需求高，下面具体展现一些示例 针对以上难题，中科院软件所和百度共同提出了一个大一统诸多任务的通用信息抽取技术 UIE（Unified Structure Generation for Universal Information Extraction），发表在ACL‘22。UIE在实体、关系、事件和情感等4个信息抽取任务、13个数据集
D.1应用实践：Paddle分类模型大集成者[PaddleHub、Finetune、prompt]
热门推荐
丨汀、的博客
07-23 1万+
本示例数据集是由清华大学提供的新闻文本数据集THUCNews。THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19GB），均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐。├──data数据目录训练集数据验证集数据测试集数据b.设置文件格式和内容。c.加载自定义数据集。#方法一BERT初始化。.........
全国大数据与计算智能挑战赛：面向低资源的命名实体识别基线方案，排名13/64，组织单位：（大数据与决策实验室）
丨汀、的博客
06-18 4369
大赛背景全国大数据与计算智能挑战赛是由国防科技大学系统工程学院大数据与决策实验室组织的年度赛事活动，旨在深入挖掘大数据应用实践中亟需破解的能力生成难题，选拔汇聚数据领域优势团队，促进大数据领域的技术创新和面向需求的成果生成，推动形成 “集智众筹、联合攻关、共享共用” 的研建用一体迭代演进创新模式。
使用FastDeploy在英特尔CPU和独立显卡上端到端高效部署AI模型
英特尔开发人员专区
12-20 4271
FastDeploy是一款全场景、易用灵活、极致高效的AI推理部署工具。提供开箱即用的云边端部署体验, 支持超过150+Text,Vision,Speech和跨模态模型，并实现端到端的推理性能优化。包括图像分类、物体检测、图像分割、人脸检测、人脸识别、关键点检测、抠图、OCR、NLP、TTS等任务，满足开发者多场景、多硬件、多平台的产业部署需求。
新一代推理部署工具FastDeploy，三行代码搞定模型部署！
机器学习算法与Python学习
12-23 974
人工智能产业应用发展的越来越快，开发者需要面对的适配部署工作也越来越复杂。层出不穷的算法模型、各种架构的AI硬件、不同场景的部署需求、不同操作系统和开发语言，为AI开发者项目落地带来极大的挑战。为了解决AI部署落地难题，我们发布了新一代面向产业实践的推理部署工具FastDeploy。FastDeploy旨在为AI开发者提供模型部署最优解，具备全场景、简单易用、极致高效三大特点(下文将详细解读)。开...
UIE Slim满足工业应用场景，解决推理部署耗时问题，提升效能
m0_63642362的博客
09-17 1200
在一些工业应用场景中对性能的要求较高，若不能有效压缩则无法实际应用。因此，将UIE模型的知识迁移到封闭域信息抽取小模型十分重要！同时实现FasterTokenizer进行文本预处理加速。
Paddle_UIE模型信息抽取微调新手快速部署
最新发布
Cynthialy_的博客
09-26 238
简短明晰：Schema的长度应尽量保持在7个字以内。如果超过这个字数限制，模型的识别效果可能会显著下降。例如：使用“是否满意”比“用户反馈是否满意”更好。与原文保持相似：Schema的命名应与待抽取文本中的内容高度相似。这种相似性有助于模型更好地理解抽取任务并匹配信息。例如：如果原文包含“产品质量”，Schema应定义为“产品质量”，而不是“产品属性”。符合常识和逻辑：Schema应尽量符合常识和逻辑推理，避免过于复杂或不合常理的定义。
UIE Slim武器领域关系抽取：含serving部署、模型蒸馏，可视化高亮展示
m0_63642362的博客
06-19 790
武器领域关系抽取：UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等详解，同时使用FasterTokenizer进行文本预处理加速，整体提速5.2x倍，助力工业应用落地
深度学习部署：FastDeploy部署教程(CSharp版本)
ch_ccc的博客
11-28 2435
FastDeploy C# SDK的接口实现，为用户需要C# API的场景提供解决方案。
通用信息抽取 UIE(Universal Information Extraction)
思念可是反的博客
08-31 7728
通用信息抽取 - UIE 预训练模型(实体抽取、关系抽取、事件抽取、情感分析等任务)
UIE Slim医疗领域实体抽取：含serving部署、模型蒸馏，助力工业落地
m0_63642362的博客
06-02 9762
医疗领域实体抽取：UIE Slim最新升级版含数据标注、serving部署、模型蒸馏等详解，同时使用FasterTokenizer进行文本预处理加速，整体提速7.6x倍，助力工业应用场景快速落地。
FastDeploy项目简介，使用其进行（图像分类、目标检测、语义分割、文本检测|orc部署）
a486259的博客
01-25 2932
FastDeploy是一款全场景、易用灵活、极致高效的AI推理部署工具， 支持云边端部署。提供超过 🔥160+ Text，Vision， Speech和跨模态模型📦开箱即用的部署体验，并实现🔚端到端的推理性能优化。包括 物体检测、字符识别（OCR）、人脸、人像扣图、多目标跟踪系统、NLP、Stable Diffusion文图生成、TTS 等几十种任务场景，满足开发者多场景、多硬件、多平台的产业部署需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值