运行PaddleNLP中的uie时报错：OSError: [Errno 28] No space left on device: ‘/root/.paddlenlp/models/uie-base/t

最新推荐文章于 2024-06-10 21:08:44 发布
最新推荐文章于 2024-06-10 21:08:44 发布
阅读量258 收藏
点赞数
文章标签： paddlepaddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45420890/article/details/133824218
版权 
Traceback (most recent call last):
  File "/home/jh/PaddleNLP/model_zoo/uie/finetune.py", line 262, in <module>
    main()
  File "/home/jh/PaddleNLP/model_zoo/uie/finetune.py", line 121, in main
    tokenizer = AutoTokenizer.from_pretrained(model_args.model_name_or_path)
  File "/root/miniconda3/envs/paddleocr/lib/python3.9/site-packages/paddlenlp/transformers/auto/tokenizer.py", line 322, in from_pretrained
    return actual_tokenizer_class.from_pretrained(
  File "/root/miniconda3/envs/paddleocr/lib/python3.9/site-packages/paddlenlp/transformers/tokenizer_utils_base.py", line 1636, in from_pretrained
    tokenizer.save_pretrained(cache_dir)
  File "/root/miniconda3/envs/paddleocr/lib/python3.9/site-packages/paddlenlp/transformers/tokenizer_utils_base.py", line 1704, in save_pretrained
    with io.open(tokenizer_config_file, "w", encoding="utf-8") as f:

出现此问题的原因是存储cache的地址空间不足。

解决方法

mv /root/.paddlenlp/ /your_dir/
ln -s /your_dir/.paddlenlp/ /root/

把.paddlenlp文件夹里面的文件移动到新的磁盘上，然后用软链接把它链接回去

旺仔小小滑头
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
UIE遇到相关问题
丨汀、的博客
06-09 1413
CPU下微调推荐使用小尺寸的模型，可以尝试下通过下面的方式执行微调。
C.1 百度飞桨：ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]
丨汀、的博客
05-30 7233
https://github.com/PaddlePaddle/PaddleNLPhttps://github.com/PaddlePaddle/PaddleNLP 1.安装paddle 参考官网：开始使用_飞桨-源于产业实践的开源深度学习平台 首先在anaconda下创建虚拟环境： conda create -n test python=3.8 #test为创建的虚拟环境名称 在安装paddle python -m pip install paddlepaddle==2.3.0 -..
PaddleNLP 自然语言处理 知识图谱 uie-x-base,uie-m-large,uie-m-base模型使用时，报错Out of memory error on GPU 0 gpu内存不够
muaamua的博客
11-09 2049
PaddleNLP安装。 自然语言处理和大语言模型，构建知识图谱，搭建智能问答系统，信息检索，知识抽取。 PaddleNLP报错：gpu内存不足：Please check whether there is any other process using GPU 0. 1.If yes, please stop them, or start PaddlePaddle on another GPU. 2. If no, please decrease the batch size of your model.
视觉学习笔记11——TensorRT安装配置及使用
qq_45848817的博客
05-26 1255
一般的深度学习项目，训练时为了加快速度，会使用多 GPU 分布式训练。但在部署推理时，为了降低成本，往往使用单个 GPU 机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时相同的深度学习环境，如 caffe，TensorFlow 等。由于训练的网络模型可能会很大（比如，inception，resnet 等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。这对于那些高实时性的应用场合是致命的，比如自动驾驶要求实时目标检测，目标追踪等。
运行yolo代码中，遇到的错误，以及解决办法
梨涡的前端学习
12-12 1220
提示：在train.py文件中的scaler.scale(loss).backward()前添加torch.use_deterministic_algorithms(False)这个错误说的是标签对不上，仔细检查标注的txt文件，发现标签是1，只分了一个类，标签是1，明显错误。注意：.cache文件也有可能在数据集的images和labels文件夹中，要注意仔细查找。解决办法：找到数据集文件夹中的全部.cache文件，并将他们全部删除。解决办法：要不增加0类的数据，要不将1改成0。这个错误目前没有解决。
OSError:[Errno 28]No space left on device解决方法
Vertira的博客
12-24 6940
这种情况出现：paddledetection进行模型训练时，出现这个情况。在out文件夹下产生45G的文件！！！！！。D盘的空间直接耗没有了.（我的D盘可以空间45.2G）。这应该是训练时，由于空间原因无法保持的原因。 这个3 是out 模型参数打印的次数(这是我自己设置的，默认是83)。后来我改成200，就好了。把之前参数的45G文件删除。 ...
【PaddleNLP-kie】关键信息抽取2：UIE模型做图片信息提取全流程
z5z5z5z56的博客
04-24 8572
大模型时代来咯！UIE实现任意图片信息提取！本文记录我使用PaddleNLP中UIE做增值税发票信息提取的过程，同理适用于任何图片信息提取。
在使用paddlenlp import Taskflow时报错AttributeError: module ‘resource‘ has no attribute ‘error‘ 已解决
henrytrp的博客
05-18 323
今天做nlp作业时遇到错误AttributeError: module 'resource' has no attribute 'error'首先这个ResourceError就拼错了吧？原理目前还没搞明白，也请各位大佬指点，不过是可以运行了。
C.4.5 PaddleNLP UIE--小样本快速提升性能（含doccona标注）
丨汀、的博客
06-07 5722
自动从无结构或半结构的文本中抽取出结构化信息的任务, 主要包含的任务包含了实体识别、关系抽取、事件抽取、情感分析、评论抽取等任务; 同时信息抽取涉及的领域非常广泛，信息抽取的技术需求高，下面具体展现一些示例 针对以上难题，中科院软件所和百度共同提出了一个大一统诸多任务的通用信息抽取技术 UIE（Unified Structure Generation for Universal Information Extraction），发表在ACL‘22。UIE在实体、关系、事件和情感等4个信息抽取任务、13个数据集
PaddleNLP UIE模型的PyTorch版实现.zip
03-07
PaddleNLP UIE模型的PyTorch版实现.zipPaddleNLP UIE模型的PyTorch版实现.zipPaddleNLP UIE模型的PyTorch版实现.zipPaddleNLP UIE模型的PyTorch版实现.zipPaddleNLP UIE模型的PyTorch版实现.zipPaddleNLP UIE模型的...
UWGAN_UIE:UWGAN的源代码-Source code world
03-25
该存储库包含开发的方法的源代码 此代码是从和修改的 网络结构 UWGAN用于生成逼真的水下图像 UWGAN将彩色图像及其深度图作为输入，然后通过生成对抗性训练学习参数，从而基于水下光学成像模型合成水下真实... UWGAN中的
智能标注：基于Labelstudio的UIE半监督深度学习的智能标注方案码源
03-30
自动纠错：智能标注可以自动检测标注结果中的错误，并进行自动修正，能够有效地避免标注错误带来的影响，提高了标注的准确性。 灵活性更强：智能标注可以根据不同的应用场景和需求，生成不同类型的标注结果，能够...
uie.apk.1
01-06
uie.apk.1
uie.rar_多媒体
09-23
组合模式,很好的源代码,大家可以学习使用
安装后或升级启智环境到飞桨2.6版本（develop）
skywalk8163的专栏
06-10 424
PaddleNLP的飞桨大模型套件秉承了一站式体验、性能极致、生态兼容的设计理念，旨在提供业界主流大模型预训练、精调（含SFT、PEFT）、量化、推理等统一流程， 帮助开发者低成本、低门槛、快速实现大语言模型定制化。启智社区的启智大脑调试环境非常好用，但是里面的飞桨环境版本比较低，为了能够运行大模型（llm），需要升级飞桨到2.6版本或者开发版本。现在准备测试下最新的PaddleNLP是否可以用，先安装PaddleNLP。会显示0.0.0版本，这就是开发板默认的版本显示。
pyzmq-25.1.1b2-cp312-cp312-win_amd64.whl
最新发布
06-13
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
wireshark安装教程入门.md
06-13
附件是wireshark安装教程，文件绿色安全，请大家放心下载，仅供交流学习使用，无任何商业目的！
grpcio-1.3.0-cp36-cp36m-win_amd64.whl
06-13
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
对https://github.com/PaddlePaddle/PaddleNLP/blob/develop/model_zoo/uie/finetune.py连接下的代码进行解析
05-01
这个代码是 PaddleNLP 中的一个模型 Fine-tuning 的示例，用于在 UIE（User Intention Extraction）任务上 Fine-tuning 预训练好的 ERNIE-Gram 模型。 以下是代码的主要部分解析： ```python from paddlenlp.transformers import ErnieGramForSequenceClassification, ErnieGramTokenizer import paddle # 加载预训练模型和分词器 model = ErnieGramForSequenceClassification.from_pretrained('ernie-gram-zh') tokenizer = ErnieGramTokenizer.from_pretrained('ernie-gram-zh') # 加载数据 train_ds, dev_ds, test_ds = load_dataset(datafiles) # 定义数据处理函数 def convert_example(example, tokenizer, max_seq_length=512): query, title, label = example['query'], example['title'], example['label'] encoded_inputs = tokenizer(query, title, max_seq_len=max_seq_length, pad_to_max_seq_len=True) input_ids = encoded_inputs['input_ids'] token_type_ids = encoded_inputs['token_type_ids'] attention_mask = encoded_inputs['attention_mask'] return input_ids, token_type_ids, attention_mask, label # 定义数据读取器 train_data_loader = paddle.io.DataLoader(train_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size, num_workers=num_workers, shuffle=True) dev_data_loader = paddle.io.DataLoader(dev_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size, num_workers=num_workers, shuffle=False) test_data_loader = paddle.io.DataLoader(test_ds.map(lambda x: convert_example(x, tokenizer)), batch_size=batch_size, num_workers=num_workers, shuffle=False) # 定义优化器和损失函数 optimizer = paddle.optimizer.AdamW(learning_rate=lr, parameters=model.parameters()) criterion = paddle.nn.loss.CrossEntropyLoss() # Fine-tuning for epoch in range(epochs): for input_ids, token_type_ids, attention_mask, labels in train_data_loader: logits = model(input_ids, token_type_ids, attention_mask) loss = criterion(logits, labels) loss.backward() optimizer.step() optimizer.clear_grad() ``` 首先，通过 PaddleNLP 中的 `ErnieGramForSequenceClassification` 和 `ErnieGramTokenizer` 加载预训练模型和分词器。 然后，通过 `load_dataset` 函数加载数据集，并定义 `convert_example` 函数将数据转化为模型需要的格式，包括输入的 `input_ids`、`token_type_ids` 和 `attention_mask` 以及标签 `label`。 接着，通过 `DataLoader` 定义数据读取器，将数据输入模型进行 Fine-tuning。 最后，定义优化器和损失函数，使用 `backward` 计算梯度并更新模型参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值