[已解决]OSError: Unable to load weights from pytorch checkpoint file

最新推荐文章于 2025-02-15 14:49:07 发布

zhtstar

最新推荐文章于 2025-02-15 14:49:07 发布

阅读量4k

点赞数 5

文章标签： pytorch 人工智能 python

本文链接：https://blog.csdn.net/weixin_56319483/article/details/137397165

版权

博主在运行代码时，使用PyTorch加载模型遇到OSError报错，即便添加from_tf=True参数仍报错。解决方法是进入/root/.cache/huggingface/transformers目录，删除报错文件及其对应的.json和.lock文件，再次运行代码会重新下载相关文件，问题得以解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题说明：

最近跑代码遇到了一个奇怪的问题：

OSError: Unable to load weights from pytorch checkpoint file for '/root/.cache/huggingface/transformers/c506559a5367a918bab46c39c79af91ab88846b49c8abd9d09e699ae067505c6.6365d436cc844f2f2b4885629b559d8ff0938ac484c01a6796538b2665de96c7' at '/root/.cache/huggingface/transformers/c506559a5367a918bab46c39c79af91ab88846b49c8abd9d09e699ae067505c6.6365d436cc844f2f2b4885629b559d8ff0938ac484c01a6796538b2665de96c7'. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

OSError: Unable to load weights from pytorch checkpoint file for '/root/.cache/huggingface/transformers/c506559a5367a918bab46c39c79af91ab88846b49c8abd9d09e699ae067505c6.6365d436cc844f2f2b4885629b559d8ff0938ac484c01a6796538b2665de96c7' at '/root/.cache/huggingface/transformers/c506559a5367a918bab46c39c79af91ab88846b49c8abd9d09e699ae067505c6.6365d436cc844f2f2b4885629b559d8ff0938ac484c01a6796538b2665de96c7'. If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.

报错最后一句是“If you tried to load a PyTorch model from a TF 2.0 checkpoint, please set from_tf=True.”

我要加载的模型文件并不是Tensorflow格式的，就算在加载模型的那一行代码里面添加参数from_tf=True还是会报错

解决方法：

进入以下目录：（不同用户的路径可能不太一样）

/root/.cache/huggingface/transformers

找到报错的那个文件，我这里是：“c506559a5367a918bab46c39c79af91ab88846b49c8abd9d09e699ae067505c6.6365d436cc844f2f2b4885629b559d8ff0938ac484c01a6796538b2665de96c7”

这个文件下面分别有以.json和.lock结尾的文件，一共三个文件全部删了

再次运行代码会从huggingface上重新下载相关文件，然后就不会报错了。