修改modelscope和huggingface的默认cache目录

枫林晨曦

于 2024-06-12 15:15:58 发布

阅读量198

点赞数 2

文章标签： ai

本文链接：https://blog.csdn.net/aiwowuzui/article/details/139627597

版权

日常用到的模型下载主要是huggingface和modelscope，这两个默认的下载目录都在~/.cache中，修改默认cache路径方法如下

vi ~/.bash_profile
export MODELSCOPE_CACHE=/Users/xx/tools/cache/modelscope
export HF_DATASETS_CACHE=/Users/xx/tools/cache/huggingface
source ~/.bash_profile

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

枫林晨曦

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
修改modelscope和huggingface的默认cache目录

日常用到的模型下载主要是huggingface和modelscope，这两个默认的下载目录都在~/.cache中，修改默认cache路径方法如下。
复制链接

扫一扫

设置默认Ajax操作cache and error

01-20

本篇文章将深入讲解如何设置默认的Ajax操作，特别是关于`cache`和`error`的处理。首先，`cache`属性用于控制Ajax请求是否启用浏览器缓存。在默认情况下，GET请求会被浏览器缓存，这意味着如果同一个请求被多次发送...

计算机组成原理之Cache的基本概念和原理

02-03

"计算机组成原理之Cache的基本概念和原理" 计算机组成原理中，Cache 是一个非常重要的概念，它 plays a crucial role in improving the performance of a computer system. 在计算机组成原理中，Cache 的主要作用是...

参与评论您还未登录，请先登录后发表或查看评论

修改模型默认下载路径

m0_64206188的博客

04-24

1132

修改modelscope和huggingface默认下载路径

修改 ModelScope 默认缓存路径

engchina的专栏

10-06

3273

修改 ModelScope 默认缓存路径

【阿里魔搭】modelscope包下载安装

m0_51662391的博客

03-21

1443

最终解决方案：使用源码安装modelscope。

更换指定Huggingface/Modelscope默认下载位置

m0_52942489的博客

03-20

3000

*Step1：**打开配置文件。

ModelScope模型缓存路径

weixin_37862609的博客

10-31

2275

【代码】ModelScope模型缓存路径。

ModelScope模型下载脚本

最新发布

codelearning的专栏

05-17

887

根据需求更新下载的model_ids，model_id可以在modelscope官网进入具体的模型文件界面查询。分享一个自己写的下载ModelScope大模型文件的python脚本,支持多线程下载，支持多个模型一起下载。windows：cache_dir='C:\tmp'，将模型下载到C盘tmp目录；linux： cache_dir='/tmp'，将模型下载到/tmp目录；根据客户端配置修改下载的线程数，上述脚本为4线程，2.2 填写下载的model_ids。ModelScope模型下载脚本。

大模型训练-如何通过modelscope或者hg镜像快速下载LLM大模型文件,配置下载环境路径

qq_15821487的博客

10-17

2130

大模型镜像地址：https://aifasthub.com/models/baichuan-inc/Baichuan2-7B-Chatmodelscope: https://www.modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E4%B8%8B%E8%BD%BD

modelscope本地模型使用教程

weixin_44798538的博客

07-12

8222

如果使用过模型，那么模型文件默认缓存地址：C:\Users\Administrator.cache\modelscope\hub。（miniconda 环境，需要提前安装 setuptools_scm）（左边的 base 变成了 modelscope，说明成功）#仅支持 CPU 的版本。

【工程实践】使用modelscope下载大模型文件

Dong_ZH的博客

12-08

3592

Modelscope（魔搭社区）是阿里达摩院的一款开源模型平台，里面提供了很多的热门模型供使用体验，其中的模型文件可以通过git clone 快速下载。并且为模型提供了Notebook的快速开发体验，使用阿里云服务，不需要额外部署机器进行模型的运行调试，即可自动在阿里云进行实例创建。

计算机组成原理之Cache和主存的映射方式

02-03

计算机组成原理之Cache和主存的映射方式 Cache 和主存的映射方式是计算机组成原理中的一個重要知识点。为了提高计算机的性能，Cache 和主存之间需要一种合适的映射方式，以便快速地访问数据。在本节中，我们将学习...

Cache数据库管理和维护(Caché).ppt

11-13

Cache数据库管理和维护 Cache数据库管理和维护是Caché数据库管理系统的核心部分，其中包括了Caché数据库的安装、配置、维护、备份、恢复、安全性等多方面的知识点。下面是Cache数据库管理和维护的详细知识点： ...

cache目录协议模拟器

01-07

简单的cache目录协议模拟器，基于java语言的，有简单的gui界面

修改node.js默认的npm安装目录实例

01-01

修改一：打开CMD，查看配置 npm config ls 二：在其它物理盘建立文件夹如：D:\sw\develop\nodejs\npm 三：重新设置 npm config set prefix D:\sw\develop\nodejs\npm npm config set cache D:\sw\develop\nodejs...

huggingface在本地缓存的glue（路径参考：~\.cache\huggingface\datasets\glue）

10-09

②解决：主要采取下载到本地的方式运行代码（openattack可以直接改demo里的路径，很方便），有的代码可能不会修改模型和数据集的访问路径（textattack貌似封装的很好，在下找不到文件加载路径~） ③代码请求...

遍历当前程序路径下的files和cache目录

10-21

获取/data/data/package name/files和/data/data/package name/cache路径下的文件，然后把其中的文件显示在ListView中注： File和catch文件不会自动创建，需要先自行上传文件到该目录下，以命令行的方式，先切换到...

如何下载huggingface子目录

07-25

要下载Hugging Face的子目录，你可以使用Hugging Face官方API中的`snapshot_download`函数。该函数可以让你下载整个repo中部分目录下的文件。如果你想下载某个子目录下的全部文件，你可以使用以下代码： ```python from huggingface_hub import snapshot_download snapshot_download(repo_id='your/target/repo', cache_dir='local/path/you/want/to/save') ``` 这将下载指定repo中的所有文件到你指定的本地路径。如果你只想下载子目录下的特定类型的文件，比如只下载JSON文件，你可以使用以下代码： ```python from huggingface_hub import snapshot_download snapshot_download(repo_id='your/target/repo', allow_patterns='*.json', cache_dir='local/path/you/want/to/save') ``` 这将只下载指定repo中子目录下的所有JSON文件到你指定的本地路径。请确保替换代码中的`your/target/repo`为你要下载的repo的ID，`local/path/you/want/to/save`为你想要保存文件的本地路径。 #### 引用[.reference_title] - *1* *2* *3* [如何优雅的从Hugging Face下载repo中的部分目录下的文件](https://blog.csdn.net/Therock_of_lty/article/details/129145585)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]