PaddleNlp-TaskFlow安装及使用

本文介绍了如何在离线环境下配置和使用PaddlePaddle的TaskFlow任务,包括简单安装、离线下载模型(如lac模型)的方法,以及创建任务目录和处理其他参数配置的详细步骤。
摘要由CSDN通过智能技术生成

1、 TaskFlow的简介

以下是taskflow的较为全面的情况介绍:

https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/taskflow.md#%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96

2、 离线使用Taskflow任务的配置方法

简单方法:直接安装对应的版本,然后对于一个联网的进行Taskflow("text_summarization"),再把下载的文件直接全部download并转移。

复杂方法:离线使用Taskflow的issue: 如何离线使用Taskflow任务 · Issue #1162 · PaddlePaddle/PaddleNLP · GitHub

复杂一点的是:具体来说离线使用Taskflow任务就是看报错信息(报错信息的URL就是下载地址),差什么下什么,有的时候会有更新的报错,这个一般是paddleNlp的版本不一致导致的,这时候点链接进行下载更新然后再上传到特定路径进行替换就可以了。

下载之后存放的路径:

创建任务目录

根据任务名和模型名创建本地目录,例如任务是word_segmentation任务,模型名lac,因此需要创建以下目录:~/.paddlenlp/taskflow/word_segmentation/lac/

具体的任务名和模型之间的关系可以参考 https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/taskflow/taskflow.py

任务名: https://github.com/PaddlePaddle/PaddleNLP/blob/develop/docs/model_zoo/taskflow.md#%E4%BF%A1%E6%81%AF%E6%8A%BD%E5%8F%96

模型名:https://github.com/PaddlePaddle/PaddleNLP/blob/develop/paddlenlp/taskflow/taskflow.py

根据模型名下载模型

根据代码逻辑的URLS下载相应的模型,例如lac的模型下载地址在 https://paddlenlp.bj.bcebos.com/taskflow/lexical_analysis/lac/lac_params.tar.gz, 将模型参数下载到任务目录中,并解压

其他参数配置

像比如model.json之类的文件自己创建是不行的,建议直接在可以连网的环境中下载好,之后直接cp xx ~

就可以下载了,下载后可以上传到离线的环境中,并且移动到相应的文件夹即可。

  • 7
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值