【pytorch报错】If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True

最新推荐文章于 2024-04-28 10:46:44 发布
最新推荐文章于 2024-04-28 10:46:44 发布
阅读量9.8k 收藏 4
点赞数 2
分类专栏： 填坑笔记 文章标签： pytorch tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Airstudy/article/details/126574046
版权

背景

加载torch的huggingface的bin模型，未使用复杂处理逻辑，但是出现异常，详细报错内容

OSError: Unable to load weights from pytorch checkpoint file for 
'xxxxx/huggingface_model/bart-large-chinese' 
at 'xxxxxx/huggingface_model/bart-large-chinese/pytorch_model.bin'
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

尝试

  1. 设置from_tf=True， 结果并有改善
  2. 按照提示，以为是TF的版本太高，于是查看TF版本，结果报错
ImportError: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.20' not found 
(required by xxxxx/lib/python3.7/site-packages/tensorflow/python/_pywrap_tensorflow_internal.so)

发现机器上并没有安装TF

解决办法

说来解决办法有点水，参考之前有效的机器，发现torch的版本是1.11，后来将原始版本升级到1.11

leap_ruo
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
convert_bert_original_tf2_checkpoint_to_pytorch.py
10-03
bert预训练模型tensorflow版本转为pytorch版本的脚本文件，使用时记得更改文件路径以及文件名。
convert_bert_tf_checkpoint_to_pytorch.py
06-26
将基于TensorFlow的谷歌发布的官方BERT模型转化为基于Pytorch的BERT模型
解决If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True
gjkgkasg的博客
01-24 1251
解决If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.报错解决
weixin_45683241的博客
07-03 3230
If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.保存解决
load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True
最新发布
jacke121的专栏
04-28 596
load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True
pytorch加载下载好的预训练模型出现问题
桐原因的博客
11-13 9252
在官网上下载好pytorch版的预训练模型，
OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch
A_zhangpengjie的博客
02-23 8870
Transformers加载BERT出错。 错误：Exception has occurred: OSError Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True. 解决办法：把C:\Users\Administrator\.cache\huggingface\transfor
pytorch 中加载 bert 模型, 获取 词向量
热门推荐
znsoft的专栏
08-01 2万+
import torch from transformers import BertTokenizer, BertModel #MODELNAME='hfl/chinese-bert-wwm-ext' #ok #MODELNAME ='hfl/chinese-bert-wwm' #ok #MODELNAME='hfl/rbt3'#ok #MODELNAME='hfl/rbtl3'#ok #MODELNAME='hfl/chinese-roberta-wwm-ext-large' #ok MODELNAME.
node-api1-project：节点API 1模块的项目
02-20
选项A-代码级 分叉并克隆存储库。 在“画布”中打开作业，然后单击“设置git”选项。 按照说明设置Codegrade的Webhook和部署密钥。 推送您的第一次提交： git commit --allow-empty -m "first commit" && git push ...
mnist.zip_MNIST pytorch_pytorch_pytorch mnist_pytorch network_zi
09-20
标题中的"mnist.zip"指的是一个压缩包文件，其中包含了MNIST数据集和相关的PyTorch实现。MNIST是一个广泛使用的手写数字识别数据集，它由70,000个灰度图像组成，分为60,000个训练样本和10,000个测试样本。每个图像都...
a-PyTorch-Tutorial-to-Image-Captioning-master_pytorch_
09-30
**PyTorch简介** PyTorch是Facebook开源的一个深度学习框架，它以其灵活性和易用性受到广大开发者和研究人员的喜爱。PyTorch的核心是动态计算图，这使得它在构建复杂的神经网络结构时更加直观和便捷。本教程将引导...
读取pytorch.bin权重文件解读
小姑仔的博客
06-22 1万+
读取pytorch.bin的权重文件实现的函数在modeling_utils.py之中。 print('!!!load Pytorch model!!!') if state_dict is None: try: state_dict = torch.load(resolved_archive_file, map_location="cpu") except
MapReduce小文件问题
JAVA_LuZiMaKei的博客
09-25 505
MapReduce小文件问题 (1).小文件处理的弊端 1.每个小文件都要执行一次map任务,增加map任务的开销. 2.小文件太多,会耗费很多时间去寻址. 3.需要记录小文件的元数据,造成namenode的内存浪费. (2)解决办法 1.尽量避免出现小文件,将多个小文件合并成一个顺序文件,文件名作为键,文件内容作为值. 2.如果HDFS中出现了大批小文件,CombineFileInputFormat将多个小文件打包到一个分片中. 3.使用Hadoop自带的archive工具,主要减少nam
Unable to load weights from pytorch checkpoint file for ‘bert-base-uncased‘ at ...
Micheal_Yuans的博客
11-28 6561
OSError: Unable to load weights from pytorch checkpoint file for ‘bert-base-uncased’ at … 使用huggingface的bert时遇到预训练模型加载失败的问题，具体终端报错为： OSError: Unable to load weights from pytorch checkpoint file for 'bert-base-uncased' at ... If you tried to load a PyTorch
【Python】pickle.load的时候出现EOFError: Ran out of input
mjiansun的专栏
11-09 2995
原因：load的文件为空，就会出现这种错误。 解决方案：1.如果是读取单个文件的话，一定要打开文件所在路径然后打开文件，查看文件是否为空。有可能之前不是空文件，但由于用pickle.load文件时需要打开文件操作，可能在这个过程中把文件内容清空了也未可知。 2.如果是批量操作文件的话，可以抛出异常，这样就不会影响整个程序的运行。 with open(filename, 'rb') as input_file: try:
OSError: Unable to load weights from pytorch checkpoint file
g1655的博客
04-13 1万+
使用transformers库的from_pretrained()函数时出错 在运行这段代码时 tokenizer = BertTokenizer.from_pretrained("bert-base-uncased") 然后报如图的错误 图中错误即OSError: Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, plea
BERT模型在win10的下载位置
....
12-17 1301
使用如下方式调用BERT模型时， from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') 出现Exception has occurred: OSError Unable to load weights from pytorch
OSError Unable to load weights from pytorch checkpoint file. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True
06-13
这个错误通常表示你试图从一个不兼容的 PyTorch checkpoint 文件中加载权重。如果你是从 TensorFlow 2.0 的 checkpoint 文件中加载 PyTorch 模型，请确保将参数 `from_tf=True` 设置为 True。如果这不是你的情况，请确保你正在尝试加载一个与你的 PyTorch 版本兼容的 checkpoint 文件，并且没有其他错误导致了这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值