使用 huggingface-cli 下载模型或数据集需要注意的点

已于 2024-04-09 18:09:52 修改
阅读量249 收藏
点赞数 1
文章标签： ai 笔记
于 2024-04-09 16:58:30 首次发布
原文链接：https://blog.csdn.net/weixin_51717597/article/details/134343802
版权

1.首先要pip install huggingface-cli

然后看看你是否登录
huggingface-cli whoami
如果没有

huggingface-cli login（登录需要输入你的token，token值可以在https://huggingface.co/settings/tokens自动生成）

然后下载你想要下载的模型

比如下载llama2-7b，但是这个是受保护的，需要你用你登录的账号去申请一下，通过了才可以下载
huggingface-cli download --resume-download meta-llama/Llama-2-7b-hf --local-dir D:\model
 

本地部署则看下面这篇文档内容即可
Llama2通过llama.cpp模型量化 Windows&Linux本地部署_llama.cpp 部署 linux-CSDN博客

fc&&fl
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
npm-cli-login
05-02
npm-cli-login 允许您不使用STDIN，STDOUT登录到NPM。 在CI构建系统等地方使用。 还可以在〜/ .npmrc文件中创建/修改条目以进行身份​​验证。 安装 npm install -g npm-cli-login 使用-g标志通过CLI使用npm-cli-login 用法 命令行界面 npm-cli-login要求先设置以下环境变量，然后才能使用它进行身份验证： NPM_USER ：NPM用户名 NPM_PASS ：NPM密码 NPM_EMAIL ：NPM电子邮件 NPM_REGISTRY ：（可选）登录到专用NPM注册表（默认： : NPM_REGISTRY ） NPM_SCOPE ：（可选）私有NPM范围 NPM_RC_PATH ：（可选）要更新的自定义.npmrc文件的路径（默认： ~/.npmrc ） 设置所需的密码后，您只需运行以下命令即可登录
nexus-cli：适用于Docker Registry v2的Nexus CLI:spouting_whale:
01-30
适用于Docker Registry的Nexus CLI 用法 下载 以下是Nexus CLI（1.0.0-beta）最新版本的可用下载。 请下载适合您的操作系统和体系结构的软件包。 Linux： wget https://s3.eu-west-2.amazonaws.com/nexus-cli/1.0.0-beta/linux/nexus-cli 视窗： wget https://s3.eu-west-2.amazonaws.com/nexus-cli/1.0.0-beta/windows/nexus-cli Mac OS X： wget https://s3.eu-west-2.amazonaws.com/nexus-cli/1.0.0-beta/osx/nexus-cli OpenBSD的： wget https://s3.eu-west-2.amazonaws.com/nexus-cli/1.0.0-beta/openbsd/nexus-cli FreeBSD： wget https://s3.eu-west-2.amazonaws.com/nexus-cli/1.0
wechattweak-cli
09-21
wechattweak-cli
vue-cli3.0配置及使用注意事项详解
01-21
这次给大家带来vue-cli3.0配置详解，使用vue-cli3.0配置的注意事项有哪些，下面就是实战案例，一起来看一下。 新建项目 # 安装 npm install -g @vue/cli # 新建项目 vue create my-project # 项目启动 npm run serve # 打包 npm run build 打包后的文件，对引用资源注入了预加载（preload/prefetch），启用 PWA 插件时注入 manifest/icon 链接，并且引入(inlines) webpack runtime / chunk manifest 清单已获得最佳性能。 功能配置 功能选
vue-cli3使用mock数据的方法分析
11-21
本文实例讲述了vue-cli3使用mock数据的方法。分享给大家供大家参考，具体如下： 在前后端分离的开发模式中，后端给前端提供一个接口，由前端向后端发请求，得到数据后前端进行渲染。由于前后端开发进度的不统一，前端往往使用本地的测试数据进行数据渲染的测试。 正文开始 在vue-cli构建的项目，我们可以借助devServer开启一个服务，然后我们可以通过路由模拟一个接口来进行测试。 在vue-cli2和vue-cli3中的配置方式是不同的。下面分别展示 ##　vue-cli2 先放一张vue-cli2生成项目图片 mock文件夹是一个我自己创建的用来存放模拟数据的文件夹，其中有一个json文
Hugging Face 介绍 & 快速搭建模型服务
qq_45430571的博客
01-19 2394
如果你的应用需要处理大量并发请求，或者你希望利用 Python 的异步特性，那么 FastAPI 可能更合适。通过使用 Flask 或 FastAPI，我们可以有效地部署 Transformer 模型作为服务，并通过简单的 API 调用进行交互。请求中的文本数据经过分词器处理后输入到模型中，模型的输出用于生成预测响应。这个服务将在启动时加载模型，并在之后的请求中重用已加载的模型。直接在代码中应用模型的本地路径即可，这里需要注意的是，下载模型的时候，要把huggingface上的所有文件全部下载下来。
huggingface-cli: error: invalid choice: ‘download‘解决方案
热门推荐
weixin_43178406的博客
11-09 6万+
本文主要介绍了huggingface-cli: error: invalid choice: 'download’解决方案，希望能对学习使用huggingface-cli的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Apple官方优化Stable Diffusion绘画教程
duoshehuan6005的博客
12-06 3897
Apple官方优化Stable Diffusion绘画教程苹果为M1芯片优化Stable Diffusion模型，其中Mac Studio (M1 Ultra, 64-core GPU)生成512*512的图像时间为9秒。想要1秒出图，可以在线体验3090显卡AI绘画。在线体验地址:Stable Diffusion在线体验地址:Stable Diffusion苹果官方发布Python 包，用于使用 diffusers 和 coremltools 将 Stable Diffusion 模型从 PyTorch
Huggingface 镜像站
发呆的比目鱼的博客
10-27 5688
Huggingface 镜像站
huggingface-cli: command not found
消极的人永远是对的，积极的人选择勇往直前
03-28 4174
huggingface-cli: command not found
详解Vue-Cli 异步加载数据的一些注意点
08-29
本篇文章主要介绍了详解Vue-Cli 异步加载数据的一些注意点，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
deploy-transformers：轻松部署来自HuggingFace的Transformers的最新语言模型
02-05
:rocket: 部署变形金刚 :hugging_face: 只需三行代码即可部署SOTA模型以生成文本 :laptop: 安装 显然需要和 。 pip install deploy-transformers 对于部署，文件结构需要像这样： ├── static │ ├── script.js │ ├── style.css ├── templates │ ├── 404.html │ ├── index.html | └── your_file.py 您可以克隆该存储库以包含原始文件，也可以使用函数website.create_structure()或自行创建结构。 website.create_structure(
Huggingface镜像站使用及常见报错
普通程序员的日常学习笔记
03-05 1492
Huggingface镜像站使用
命令行下载huggingface 受保护模型
qq_55621259的博客
01-11 1195
背景：我要下载 huggingface 上的 meta 的 llama2 的模型到，这个模型是受保护的，需要先在 meta 的网站上提交申请，申请通过后，才能用和你申请时同邮箱绑定的hugging face账户进行下载这个模型。方法：确保你下载了 `huggingface-cli`
第二章 HuggingFace数据集使用介绍
u010295555的博客
03-03 1841
点击某个数据集可以看到详细介绍 ，数据集多以英语为主。
windows huggingface-cli安装时要注意的问题（‘huggingface-cli.exe‘ 不是内部或外部命令，也不是可运行的程序）
gaotong3701的博客
02-21 810
在安装huggingface_hub的时候要注意如果你的python是放在c盘下时记得用管理员模式命令行来安装huggingface_hub，否则安装过程会报错，之后也不会有huggingface-cli命令。如果安装时因为没有用管理员权限安装而报错了，可以先卸载huggingface-hub。然后管理员模式下安装huggingface-hub。
【Huggingface】如何访问Huggingface，Huggingface镜像
q742971636的博客
01-09 2878
方法三：(非侵入式，能解决大部分情况)huggingface 提供的包会获取系统变量，所以可以使用通过设置变量来解决。方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。本站域名 hf-mirror.com，用于镜像 huggingface.co 域名。不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。(3) 下载需要登录的模型（Gated Model）更多用法（多线程加速等）详见这篇文章。参数，token 获取具体参见上文。
第十五篇-推荐-Huggingface-镜像-2023-10
木卫二号的专栏
10-25 7354
我们强烈推荐使用 huggingface 官方提供的 huggingface-cli 命令行工具进行模型文件的下载。默认使用多文件并行下载，速度更快。（如需更极致的下载速度，可对文件链接用其他多线程下载工具下载，默认不推荐）域名 hf-mirror.com，用于镜像 huggingface.co 域名。支持排除特定文件或指定特定文件下载，便于用户自定义下载内容。支持指定镜像 endpoint，可直接使用本站镜像服务。支持断点续传，避免因网络中断而导致的文件损坏。推荐一个Huggingface-镜像网站。
huggingface-cli 命令下载数据集
最新发布
03-28
huggingface-cli是一个命令行工具，可以用于下载和管理Hugging Face提供的各种数据集、模型和任务。通过huggingface-cli，你可以方便地从命令行中下载数据集。 要使用huggingface-cli下载数据集，你可以按照以下...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值