在autoDL服务器上清除垃圾数据

1.首先明确要清除哪里的数据

可以点进这个界面,表明在这些文件夹下寻找垃圾文件,或者点进autodl-tmp,表明在autodl-tmp文件夹下寻找垃圾文件。我认为,可以先从大文件夹开始找,然后根据显示的内存量,再接着点进内存最大的文件夹下,继续寻找垃圾文件。

2.使用du -sh .[!.]* * | sort -hr将文件按从大到小的顺序排列

du -sh .[!.]* * | sort -hr

如果没有显示垃圾文件:.Trash-0(我的是这个文件名)

按照内存最大的文件夹顺序依次寻找。比如我的是miniconda3

请注意!!!要先进入miniconda3文件夹,然后叉掉刚刚的终端,重新开一个终端

3.进入miniconda3文件夹后,继续使用du -sh .[!.]* * | sort -hr 

因为我已经实践过了,.Trash-0文件已经被我清楚了,所以界面没有.Trash-0文件

4.找到要清除的文件后,使用rm -rf xxx命令就可以清除。比如要清除.Trash-0文件,命令为

rm -rf . Trash-0

即可

总结:

du -sh .[!.]* * | sort -hr

rm -rf xxx

注意!!!!!rm -rf xxx  rf和xxx之间有空格 

参考:

AutoDL帮助文档

https://zhuanlan.zhihu.com/p/599442340

### 关于 `huggingface_hub` 库中的 `LocalEntryNotFoundError` 当遇到 `huggingface_hub.utils._errors.LocalEntryNotFoundError` 错误时,通常表示程序尝试定位文件到 Hugging Face 的模型仓库失败,并且无法在本地缓存中找到请求的文件[^2]。这可能是由于网络连接问题、指定路径不正确或者目标资源不存在等原因引起的。 以下是可能的原因以及解决方案: #### 可能原因分析 1. **网络连接异常** 如果当前环境下的互联网连接不稳定或被阻止,则可能导致无法访问远程服务器上的资源。这种情况下会抛出类似于 `ConnectionError` 或者其他与网络相关的错误消息[^4]。 2. **本地缓存缺失** 当前运行环境中可能存在未下载完成的模型或其他依赖项,而这些项目又不在默认存储位置下可获取的位置上。因此,在加载过程中找不到所需的条目就会触发该异常情况。 3. **指定ID有误** 用户输入了错误的模型名称或者是版本号等参数值,从而使得API调用指向了一个根本不存在的对象实例地址链接处发生冲突进而报此类错码提示信息给开发者知道哪里出了差池以便及时修正过来恢复正常操作流程继续执行下去直到结束为止[^1]. #### 解决方案建议 针对上述提到的各种可能性提供如下几种处理办法供参考选用: ##### 方法一: 检查并修复网络状况 确认设备能够正常上网并且没有任何防火墙设置阻挡对外部站点(特别是HuggingFace官网及其关联服务端口)的数据交换活动;如果是在公司内部网路环境下作业的话还需要联系管理员开放相应权限许可才行哦! 同时也可以考虑更换DNS服务商来改善整体浏览体验效果如何呢? 另外还可以通过命令行工具ping测试一下具体延迟数值大小作为判断依据之一吧:`ping api-inference.huggingface.co` 运行这条语句看看返回的结果里面有没有丢包现象存在哈~如果有就说明线路质量不太理想需要进一步排查解决咯~ 最后记得重启路由器清除ARP表重新建立握手协议链路关系哟! ##### 方法二: 清理重置缓存数据 有时候旧版残留下来的垃圾碎片会影响新安装项目的正常使用所以我们可以试着删除掉整个`.cache/huggingface/transformers`目录然后再重新启动应用程序让它自动拉取最新最全的内容回来填充进去就可以了呀😊 ```bash rm -rf ~/.cache/huggingface/* ``` > 注意这里使用的是Linux/MacOS系统的标准做法如果是Windows平台则需调整对应的路径表达形式为 `%APPDATA%\HuggingFace\hub`. 之后再次尝试加载对应的功能模块看是否还会出现同样的警告弹窗啦! ##### 方法三: 验证模型名准确性 仔细核对自己所填写的目标实体标识符字符串是不是完全匹配官方文档里给出的标准范例样式;必要时候可以复制粘贴过去减少人为打字失误概率提升工作效率嘛😏 比如像这样正确的写法应该是这样的: ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name = "distilbert-base-uncased-finetuned-sst-2-english" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) ``` 而不是随便乱编一个毫无意义的名字上去导致系统无所适从最终崩溃退出不是吗🤔 --- ### 示例代码片段展示 下面是一段完整的Python脚本示范如何正确配置环境变量以规避潜在的风险隐患同时实现高效稳定的模型加载过程演示: ```python import os from huggingface_hub import hf_hub_download os.environ['TRANSFORMERS_OFFLINE'] = '0' try: repo_id = "your/repo-id" filename = "config.json" downloaded_file_path = hf_hub_download(repo_id=repo_id, filename=filename) except Exception as e: print(f"An error occurred during download: {e}") else: print(f"The file was successfully saved at: {downloaded_file_path}") finally: del os.environ['TRANSFORMERS_OFFLINE'] ``` 以上例子展示了怎样利用`hf_hub_download()`函数安全可靠地抓取远端资料下来保存至本地磁盘当中去的过程描述得非常清楚明白易懂了吧😉 ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值