git clone git lfs 出现错误 fatal: model-00001-of-00002.safetensors: smudge filter lfs failed

最新推荐文章于 2024-03-06 16:48:21 发布
最新推荐文章于 2024-03-06 16:48:21 发布
阅读量1.7k 收藏 18
点赞数 22
分类专栏： 日常错误 文章标签： git git-lfs filter-process smudge 大文件 大模型 代理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014374009/article/details/136206162
版权

git clone git lfs 出现错误 fatal: model-00001-of-00002.safetensors: smudge filter lfs failed
error: external filter ‘git-lfs filter-process’ failed
fatal: model-00001-of-00002.safetensors: smudge filter lfs failed。

Error downloading object: model-00001-of-00002.safetensors (66dec18): Smudge error: Error downloading model-00001-of-00002.safetensors (66dec18c9f1705b9387d62f8485f4e7d871ca388718786737ed3c72dbfaac9fb): batch response: Repository or object not found: https://huggingface.co/meta-llama/Llama-2-7b-chat-hf.git/info/lfs/objects/batch
Check that it exists and that you have proper access to it

Errors logged to /root/meta-llama/Llama-2-7b-chat-hf/.git/lfs/logs/20240221T024656.481462682.log
Use `git lfs logs last` to view the log.
error: external filter 'git-lfs filter-process' failed
fatal: model-00001-of-00002.safetensors: smudge filter lfs failed
warning: Clone succeeded, but checkout failed.
You can inspect what was checked out with 'git status'
and retry with 'git restore --source=HEAD :/'

详细错误如下：

git-lfs/2.11.0 (GitHub; linux amd64; go 1.13.4)
git version 2.27.0

$ git-lfs filter-process
Error downloading object: model-00001-of-00002.safetensors (66dec18): Smudge error: Error downloading model-00001-of-00002.safetensors (66dec18c9f1705b9387d62f8485f4e7d871ca388718786737ed3c72dbfaac9fb): batch response: Repository or object not found: https://huggingface.co/meta-llama/Llama-2-7b-chat-hf.git/info/lfs/objects/batch
Check that it exists and that you have proper access to it

Repository or object not found: https://huggingface.co/meta-llama/Llama-2-7b-chat-hf.git/info/lfs/objects/batch
Check that it exists and that you have proper access to it
github.com/git-lfs/git-lfs/errors.Errorf
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/errors/errors.go:69
github.com/git-lfs/git-lfs/lfshttp.defaultError
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfshttp/errors.go:128
github.com/git-lfs/git-lfs/lfshttp.(*Client).handleResponse
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfshttp/errors.go:51
github.com/git-lfs/git-lfs/lfshttp.(*Client).DoWithRedirect
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfshttp/client.go:326
github.com/git-lfs/git-lfs/lfsapi.(*Client).doWithCreds
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfsapi/auth.go:103
github.com/git-lfs/git-lfs/lfsapi.(*Client).doWithAuth
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfsapi/auth.go:67
github.com/git-lfs/git-lfs/lfsapi.(*Client).DoWithAuth
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfsapi/auth.go:25
github.com/git-lfs/git-lfs/lfsapi.(*Client).DoAPIRequestWithAuth
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfsapi/auth.go:56
github.com/git-lfs/git-lfs/tq.(*tqClient).Batch
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/api.go:74
github.com/git-lfs/git-lfs/tq.Batch
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/api.go:40
github.com/git-lfs/git-lfs/tq.(*TransferQueue).enqueueAndCollectRetriesFor
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/transfer_queue.go:559
github.com/git-lfs/git-lfs/tq.(*TransferQueue).collectBatches.func1
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/transfer_queue.go:453
runtime.goexit
/usr/lib/golang/src/runtime/asm_amd64.s:1357
batch response
github.com/git-lfs/git-lfs/errors.newWrappedError
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/errors/types.go:198
github.com/git-lfs/git-lfs/errors.Wrap
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/errors/errors.go:74
github.com/git-lfs/git-lfs/tq.(*tqClient).Batch
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/api.go:77
github.com/git-lfs/git-lfs/tq.Batch
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/api.go:40
github.com/git-lfs/git-lfs/tq.(*TransferQueue).enqueueAndCollectRetriesFor
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/transfer_queue.go:559
github.com/git-lfs/git-lfs/tq.(*TransferQueue).collectBatches.func1
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/tq/transfer_queue.go:453
runtime.goexit
/usr/lib/golang/src/runtime/asm_amd64.s:1357
Error downloading model-00001-of-00002.safetensors (66dec18c9f1705b9387d62f8485f4e7d871ca388718786737ed3c72dbfaac9fb)
github.com/git-lfs/git-lfs/errors.newWrappedError
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/errors/types.go:198
github.com/git-lfs/git-lfs/errors.Wrapf
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/errors/errors.go:85
github.com/git-lfs/git-lfs/lfs.(*GitFilter).downloadFile
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfs/gitfilter_smudge.go:115
github.com/git-lfs/git-lfs/lfs.(*GitFilter).Smudge
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfs/gitfilter_smudge.go:76
github.com/git-lfs/git-lfs/commands.smudge
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/commands/command_smudge.go:127
github.com/git-lfs/git-lfs/commands.filterCommand
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/commands/command_filter_process.go:120
github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra.(*Command).execute
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra/command.go:766
github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra.(*Command).ExecuteC
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra/command.go:852
github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra.(*Command).Execute
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra/command.go:800
github.com/git-lfs/git-lfs/commands.Run
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/commands/run.go:103
main.main
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/git-lfs.go:33
runtime.main
/usr/lib/golang/src/runtime/proc.go:203
runtime.goexit
/usr/lib/golang/src/runtime/asm_amd64.s:1357
Smudge error
github.com/git-lfs/git-lfs/errors.newWrappedError
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/errors/types.go:198
github.com/git-lfs/git-lfs/errors.NewSmudgeError
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/errors/types.go:284
github.com/git-lfs/git-lfs/lfs.(*GitFilter).Smudge
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/lfs/gitfilter_smudge.go:85
github.com/git-lfs/git-lfs/commands.smudge
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/commands/command_smudge.go:127
github.com/git-lfs/git-lfs/commands.filterCommand
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/commands/command_filter_process.go:120
github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra.(*Command).execute
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra/command.go:766
github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra.(*Command).ExecuteC
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra/command.go:852
github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra.(*Command).Execute
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/vendor/github.com/spf13/cobra/command.go:800
github.com/git-lfs/git-lfs/commands.Run
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/commands/run.go:103
main.main
/builddir/build/BUILD/git-lfs-2.11.0/_build/src/github.com/git-lfs/git-lfs/git-lfs.go:33
runtime.main
/usr/lib/golang/src/runtime/proc.go:203
runtime.goexit
/usr/lib/golang/src/runtime/asm_amd64.s:1357

Current time in UTC:
2024-02-21 02:46:56

ENV:
LocalWorkingDir=/root/meta-llama/Llama-2-7b-chat-hf
LocalGitDir=/root/meta-llama/Llama-2-7b-chat-hf/.git
LocalGitStorageDir=/root/meta-llama/Llama-2-7b-chat-hf/.git
LocalMediaDir=/root/meta-llama/Llama-2-7b-chat-hf/.git/lfs/objects
LocalReferenceDirs=
TempDir=/root/meta-llama/Llama-2-7b-chat-hf/.git/lfs/tmp
ConcurrentTransfers=8
TusTransfers=false
BasicTransfersOnly=false
SkipDownloadErrors=false
FetchRecentAlways=false
FetchRecentRefsDays=7
FetchRecentCommitsDays=0
FetchRecentRefsIncludeRemotes=true
PruneOffsetDays=3
PruneVerifyRemoteAlways=false
PruneRemoteName=origin
LfsStorageDir=/root/meta-llama/Llama-2-7b-chat-hf/.git/lfs
AccessDownload=none
AccessUpload=none
DownloadTransfers=basic,lfs-standalone-file
UploadTransfers=basic,lfs-standalone-file
GIT_DIR=/root/meta-llama/Llama-2-7b-chat-hf/.git
GIT_EXEC_PATH=/usr/libexec/git-core

Client IP addresses:
172.17.0.2

解决方法：

// Skip smudge - We'll download binary files later in a faster batch
git lfs install --skip-smudge
// Do git clone here
git clone ...
// Fetch all the binary files in the new clone
cd project
git lfs pull
// Reinstate smudge
git lfs install --force

如果是国外的大文件，比如 大模型，最好配置git的代理，如下：

git config --global http.sslVerify "false"
git config --global advice.detachedHead false

#建议socks5 和http 都配置一下代理
#配置socks5
#git config --global http.proxy socks5 127.0.0.1:7890
#git config --global https.proxy socks5 127.0.0.1:789
#配置http
#git config --global http.proxy 127.0.0.1:7890
#git config --global https.proxy 127.0.0.1:7890
#查看设置：
#git config --global --get http.proxy
#git config --global --get https.proxy
#取消办法：
#git config --global --unset http.proxy
#git config --global --unset https.proxy

就可以正常下载了：

Downloading LFS objects:  20% (1/5), 298 MB | 3.1 MB/s
代码讲故事
关注
  • 22
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kaiyuanshe.github.io:The main site for kaiyuanshe
05-11
开源社官网 参与开发 请务必先做好！ 安装 # 若网速慢，可启用以下环境变量 # GIT_LFS_SKIP_SMUDGE=1 git clone --recurse-submodules \ https://github.com/kaiyuanshe/kaiyuanshe.github.io.git \ ~/Desktop/KaiYuanShe/OWS/ cd ~/Desktop/KaiYuanShe/OWS/ npm install && npm start 写作 cd ~/Desktop/KaiYuanShe/OWS/ hexo new "My Post title" cd source/ git checkout master # 确保子模块在 master 分支，否则提交推送后会丢失 code _post/My-Post-title.md # 用你喜欢的文本编辑器写
unreal-git-lfs-test：在启用了LFS的Git上测试托管一个虚幻仓库
02-06
虚幻的Git LFS测试库 此仓库仅用于测试在启用了Git LFS的Git上托管一个Unreal Engine项目以及从Unreal Editor创建的模板项目。 此仓库基于Oded Erell的涉及将Unreal与Git和Git LFS一起使用。 我遵循的步骤基本相同，但是我编辑了.gitignore文件以包括可选的_BuiltData.uasset文件。 看。 创建适合虚幻引擎项目的仓库的基本步骤 在本地安装 （显然，您必须已安装Git）。 在GitHub上创建存储库，并确保为“忽略Git”文件选择“ UnrealEngine”。 克隆仓库并初始化Git LFS： git lfs in
大模型中 .safetensors 文件、.ckpt文件和.pth以及.bin文件区别、加载和保存以及转换方式
最新发布
CHNIM的博客
03-06 1万+
在大型深度学习模型的上下文中，.bin和.pthckpt文件这是由 Hugging Face 推出的一种新型安全模型存储格式，特别关注模型安全性、隐私保护和快速加载。它仅包含模型的权重参数，而不包括执行代码，这样可以减少模型文件大小，提高加载速度。加载方式：使用 Hugging Face 提供的相关API来加载文件，例如函数。ckpt文件。
DataAnalysisInAction:(已完结)《极客时间数据分析实战45讲-详细笔记》包含markdown、图片、思维导图、代码 、数据。 可直接阅读代码、测试!
05-03
《极客时间数据分析实战45讲-详细笔记》 版本 2.3.1 代码克隆出错 // Skip smudge - We'll download binary files later in a faster batch git lfs install --skip-smudge // Do git clone here git clone ... // Fetch all the binary files in the new clone git lfs pull // Reinstate smudge git lfs install --force 前言 工欲善其事必先利其器 Windows平台开发如何能够更快捷，更舒适，请 Windows 的看官务必读一下这篇： 环境及配置问题 常见问题在本项目的 Issues 中，其他按住不表，如果存在疑问，请在Issues中添加新的 Issue 配置清华大
git-lfs-windows-1.4.4
05-04
资源描述：lfs工具windows安装包
git lfs 完美解决 Use `git lfs logs last` to view the log.error: external filter ‘git-lfs filter-proces
哆啦A梦爱学习的博客
05-10 6668
然后删除全部文件，包括 .git 文件, 重新使用命令克隆下载我们想要下载的项目：git clone https://huggingface.co/THUDM/chatglm-6b-int4【项目地址】文件 和 我们之前已经下载一半的项目chatglm-6b-int4 在我们用户目录C:\Users\用户名下面。用git lfs 或者 git 下载github项目失败报错:Clone succeeded, but checkout failed.初始化.git文件： git init。
git did not exit cleanly (exit code 128) 的解决--LFS方向
常城的专栏
05-23 4239
错误描述： 同事重装了内网服务器，部署了Git服务，换了Git地址。 重新下载git工程，结果报错：git did not exit cleanly (exit code 128) 只看这个红色的简要报错信息，网上找的解决办法一大堆，并且不对症。只好耐下心，看更多的报错信息： ErrorsloggedtoE:\qy_project\tplib\.git\lfs\logs\20220523T134822.783014.log Use`gitlfslogslast`tovie...
git clone lfs问题记录
funnyPython的博客
10-27 1934
【代码】git clone lfs问题记录。
git clone: smudge filter lfs failed
derteanoo的博客
04-26 9317
在用Git去clone的时候遇到以下问题： 1 2 3 4 Use git lfs logs last to view the log. error: external filter 'git-lfs filter-process' failed fatal: data/processed/career_builder/embedding.npy: smudge filter lfs failed warning: Clone succeeded, but ch
Git报错处理
zywhehe的博客
12-20 1164
clone报错：x509: certificate signed by unknown authority lfs报错：Error: Failed to call git rev-parse --git-dir --show-toplevel: "fatal: not a git repository Failed to connect to xxx.xxx.com port 8080: No route to host
Git Clone大文件工具
04-07
当项目很大，有一些很大的文件存在时，clone远程仓库代码可能会失败，clone下来的项目不完整，很可能是因为项目中的文件clone不全，这个工具可以解决这个问题
git-clone-init：在git clone上自动设置用户身份（user.email user.name）
02-03
git-clone-init：在git clone上自动设置用户身份（user.email user.name）
**Gcc编译器报错：gcc -m32报错**
01-07
Gcc编译器报错：gcc -m32报错 :/work/printf_myself$ gcc -m32 -o push_test push_test.c In file included from /usr/include/stdio.h:27:0, from push_test.c:12: /usr/include/features.h:367:25: fatal error: sys/cdefs.h: No such file or direct
FreeCodeCamp-Chengdu.github.io:FCC-成都社区官方网站
04-30
freeCodeCamp 成都社区 官方网站 Project generated by 参与开发 请务必先做好！ 安装 # 若网速慢，可启用以下环境变量 # GIT_LFS_SKIP_SMUDGE=1 git clone --recurse-submodules \ https://github.com/FreeCodeCamp-Chengdu/FreeCodeCamp-Chengdu.github.io.git \ ~/Desktop/FCC-CDC/OWS/ cd ~/Desktop/FCC-CDC/OWS/ npm install && npm start 写作 cd ~/Desktop/FCC-CDC/OWS/ hexo new "My Post title" # 或 # hexo new activity "New activity title" cd source/
git-lfs-linux-arm64-v2.13.2.tar.gz
01-15
Git LFS是用于使用Git管理大型文件的命令行扩展和规范。 这是2.13.2的Linux 64 压缩包。
git-lfs.github.com:Git LFS（大文件存储）网站
05-03
本地克隆： git clone https://github.com/git-lfs/git-lfs.github.com.git 运行Jekyll： script/server 在本地浏览器中查看： 执照 生成站点的代码（不包括资产，内容和布局目录的所有内容）以及站点上的代码...
git-lfs-server：Git LFS服务器
02-03
git-lfs-server：Git LFS服务器
git-lfs-ipfs：使用IPFS作为git-lfs端点
02-04
git-lfs-ipfs：使用IPFS作为git-lfs端点
paramiko远程连接执行git命令出现git-lfs filter-process: git-lfs: command not found
06-01
这个错误是因为在远程服务器上找不到 git-lfs 命令。可能是因为 git-lfs 没有被正确安装或者没有被添加到 PATH 环境变量中。你可以尝试在远程服务器上手动执行 git-lfs 命令，如果提示找不到该命令，则需要在服务器上安装 git-lfs 并将其添加到 PATH 环境变量中。你可以通过以下命令来安装 git-lfs： ``` sudo apt-get install git-lfs ``` 安装完成后，你需要将 git-lfs 命令所在的路径添加到 PATH 环境变量中。你可以通过在 ~/.bashrc 文件中添加以下行来实现： ``` export PATH=$PATH:/usr/local/git/bin ``` 注意，这里的路径可能会因为你所使用的操作系统和安装的 git-lfs 版本而有所不同。安装和添加 PATH 环境变量完成后，你应该可以在远程服务器上成功执行 git-lfs 命令了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

代码讲故事

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值