本地加载大模型出现OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or ……

最新推荐文章于 2024-08-23 17:09:19 发布
最新推荐文章于 2024-08-23 17:09:19 发布
阅读量1.7k 收藏 6
点赞数 5
文章标签： pytorch python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/misaki_min/article/details/140273944
版权

尝试本地加载yi1.5-6b模型，报错 OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack 

网上查询后多数认为是缺失文件model.safetensors.index.json，但实际上我的文件夹中已包含此文件。根据huggingface上的模型文件结构

推测是因为 transformers 不能正确识别这种safetensors模型文件，于是查询了yi1.5模型的官方github--requirements

先升级了transformers包，果然不报错了。再根据报错进一步升级了其他包。

附一个其他错误：ImportError: cannot import name 'split_torch_state_dict_into_shards' from 'huggingface_hub' (……)

解决方法：pip install --upgrade huggingface_hub

参考：https://github.com/TencentARC/InstantMesh/issues/116

使用模型前还是要多看看官方给的配置需求 (˘•ω•˘)

misaki_min
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
python - OSError：错误没有名为 [‘pytorch_model.bin‘
qq_43058281的博客
02-14 1585
python - OSError：错误没有名为 [‘pytorch_model.bin’]现在报错 错误没有名为 [‘pytorch_model.bin’]所以如果遇到类似问题要倒过来恢复。还原了一下conda env。自己训练的模型存储好了以后。
Stable Diffusion
weixin_44181671的博客
01-15 561
(安装python的时候切记要手动勾选上?to Path 选项，也就是默认安装路径，默认安装在C盘用户目录下，这里用户名建议不要中文，免得后期出问题，虽然我是中文暂时还没问题）坑1.0（资源下载不全）坑2.0（缺少配置文件）
cannot import name ‘split_torch_state_dict_into_shards‘ from ‘huggingface_hub‘
m0_49448331的博客
08-02 583
huggingface库太老了，升级一下即可。
OSError: 文件名明明没错，绝对路径和相对路径都试过，咋就读不出来呢
weixin_44843629的博客
12-12 427
我遇到这个问题以后崩溃了一会儿。。。 但是，后来检查发现 "abc.csv" 和 " abc.csv" 是不同的，区别就在于后者多了个空格 哈哈哈哈哈哈 ，笑死了
【diffusers 本地下载问题】from_pretrained 找不到本地文件？OSError: Error no file named model.bin found in directory
weixin_44212848的博客
06-14 609
软链接的颜色取决于它指向的实际文件或目录的类型和属性。：表示文件或目录有特殊的权限或者属性。特别是，如果文件或目录的权限设置了不寻常的位或者它被标记为具有特殊的SELinux安全上下文等，它可能会显示为红色。如果软链接指向的文件或目录具有特殊权限或属性，例如设置了不寻常的权限位或者具有特殊的SELinux上下文，那么软链接可能会显示为红色。综上所述，软链接的颜色取决于其所指向的实际文件或目录的类型和属性，而不是软链接本身的属性。如果软链接指向的是一个目录，它会显示为蓝色，表示这是一个指向目录的软链接。
huggingface 本地模型加载报错 Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_mo
月亮不知道的博客
01-15 1924
【代码】huggingface 本地模型加载报错 Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_mo。
解决OSError: Error no file named pytorch_model.bin, tf_model.h5 found in directory
weixin_44231433的博客
12-13 1万+
加载预训练好的Bert模型时发生OSError错误
OSError: Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax
最新发布
ph12345687的博客
08-23 271
SafeTensors 是一种专门为深度学习模型设计的安全、高效的格式，它不依赖于 pickle，相比保存为.pth , .bin而是采用二进制格式进行存储。但我训练的模型保存为xx.safetensors，在huggingface的AutoModelForCausalLM.from_pretrained()加载模型时，会报错。2、如果没有则将模型参数名称改为model.safetensors或者pytorch_model.bin放到文件夹下加载即可。
本地路径写对了，还是报错Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpa
Hoooooooocc的博客
03-11 3373
Error no file named pytorch_model.bin
Tensorflow t5预训练语法更正模型
06-21
使用方法； from transformers import AutoTokenizer from transformers import TFAutoModelForSeq2SeqLM pre_trained_model_path = './t5/' model = TFAutoModelForSeq2SeqLM.from_pretrained(pre_trained_model_path) tokenizer = AutoTokenizer.from_pretrained(pre_trained_model_path) 模型加载完毕之后就可以对接下游任务或用自己的数据继续对模型进行微调。
model.h5 model.json
06-21
人脸表情识别模型（keras的模型加载，先将json类型重构为model结构）
bert-base-chinese-tf_model.h5
08-20
bert-base-chinese-tf_model.h5
cuda报错 OSError: libcudart.so.10.0: cannot open shared object file: No such file
01-09
有时候会碰到cuda报错，OSError: libcudart.so.10.0: cannot open shared object file: No such file 原因是cuda动态链接库没有链接上。 解决方法如下： cuda10.0： sudo ldconfig /usr/local/cuda-10.0/lib64 cuda...
OSError Unable to load weights from pytorch checkpoint file for pytorch_model.bin解决方案
热门推荐
weixin_43178406的博客
07-07 6万+
 本文主要介绍了OSError Unable to load weights from pytorch checkpoint file for pytorch_model-00003-of-00003.bin解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
用模型跑一下数据，结果提示OSError: SavedModel file does not exist at: on_object_test.h5\{saved_model.pbtxt|save
2301_76491887的博客
11-03 592
img = cv2.warpAffine(img, mat, (w, h), flags=cv2.INTER_LINEAR, borderValue=(0, 0, 0)) # 仿射变换。X - 输入的tensor类型的数据，维度为( m, n_H_prev, n_W_prev, n_C_prev)img = cv2.resize(img, (new_w, new_h)) # 缩放图像。X - 恒等块的输出，tensor类型，维度为(n_H, n_W, n_C)
OSError: Error no file named pytorch_model.bin found in directory facebook/bart-large-cnn but there
特浓悠哈的博客
03-05 4683
下载facehugging里面的模型一直报这个错误： model = AutoModelForSeq2SeqLM.from_pretrained("facebook/bart-large-cnn") OSError: Error no file named pytorch_model.bin found in directory facebook/bart-large-cnn but there is a file for Flax weights. Use `from_flax=True` to lo
（已解决）OSError: openai/clip-vit-large-patch14 does not appear to have a file named pytorch_model.
BetrayFree的博客
08-24 1万+
在代码的上下文中，出现错误的代码段涉及到 "openai/clip-vit-large-patch14" 模型的加载问题，而上面提供的这段代码被用来禁用了 SSL 证书验证。引发此问题的应该是这部分代码，笼统来说就是尝试从 Hugging Face Transformers 库中加载一个名为 "openai/clip-vit-large-patch14" 的模型，并且尝试加载它的 PyTorch 权重，但是所需的。同时，仔细检查你所使用的模型路径是否正确，是否指向了正确的模型版本。
BERT模型Load报错OSError: Can't load weights for 'bert-base-chinese'. Make sure that: - 'bert-base-chinese' is a correct model identifier listed on 'https://huggingface.co/models' - or 'bert-base-chinese' is the correct path to a directory containing a file named one of pytorch_model.bin, tf_model.h5, model.ckpt.
06-10
这个错误通常是尝试加载BERT-base-chinese模型的权重时出现的。有两个可能的原因： 1. 'bert-base-chinese' 不是列在Hugging Face模型页面上的正确模型标识符。请确保您正在使用正确的模型标识符。您可以查看Hugging Face模型页面以找到正确的标识符。 2. 包含权重文件的目录的路径不正确。请确保权重文件的路径正确，并且权重文件的名称为pytorch_model.bin、tf_model.h5或model.ckpt之一。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值