微调/预训练好的模型从服务器上传至huggingface的方法（不需要魔法）

原创 已于 2024-07-29 20:24:31 修改 · 2k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2024-07-27 18:49:13 首次发布

微调/预训练好的模型无痛上传至huggingface方法


此方法适用于无法或者不想在实验室服务器挂代理的苦逼学生

注：本方法不需要魔法

上传前的准备

下载lfs

$curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$sudo apt-get install git-lfs
$git lfs install

从huggingface申请token，下一步要用：huggingface跳转链接
在这里插入图片描述
安装huggingface-cli

pip
最低0.47元/天 解锁文章
零基础实战：用 Docker 和 vLLM 本地部署 bge-reranker-v2-m3 重排序模型.pdf
10-14
该模型基于先进的预训练语言模型架构，并通过大规模语料库进行微调，v2-m3版本特别优化了性能和效率，增加了多语言处理能力，尤其在中文文本排序任务中表现优秀。该模型能够更准确地根据查询和候选文本的相关性进行...
huggingface上传/下载模型极速方法
K_Kelly_的博客
07-12 1133
使用access tokens登陆huggingface，然后直接huggingface-cli upload上传，速度超快！
将自己训练好的大模型发布到HuggingFace
猴的哥儿的博客
02-22 1511
SettingsNew TokenwriteREADME.mdLICENSE在模型目录中创建README.md。
使用Hugging Face CLI轻松上传模型至huggingface：一条命令搞定模型部署
最新发布
m0_54720701的博客
10-05 1001
Hugging Face CLI工具极大地简化了模型上传流程，让机器学习模型的分享和部署变得前所未有的简单。无论你是初学者还是经验丰富的研究者，这个工具都能为你节省宝贵的时间，让你更专注于模型开发本身。尝试使用hf upload命令上传你的下一个模型，体验高效便捷的模型部署流程吧！注意：本文基于Hugging Face Hub的最新CLI工具编写，具体命令可能会随着版本更新而变化，请参考官方文档获取最新信息。
Huggingface上传模型
kewei chen
02-08 2219
然后使用huggingface-cli login命令进行登录，登录过程中需要输入用户的。最后，使用huggingface-cli repo create model_name来创建自己的模型repo。如果克隆新的存储库，则只需在 Git 凭据管理器要求你提供身份验证凭据时输入令牌代替密码即可。之后，使用cp命令，将自己已经训练好保存的模型文件夹中的内容复制到这个repo中。之后，在网页上打开模型的详情页面就可以看到我们模型保存的文件详细信息。添加完成后，进行git repo的正常上传即可。
huggingface上传或发布自己的模型（大语言模型LLM）
一位安分的码农的博客
02-28 3258
在注册huggingface账号，登录账号后，在https://huggingface.co/settings/tokens创建token，注意需要将token的类型设置为WRITE。
上传大模型到huggingface的方法（不用梯子）
stay hungry stay foolish
08-10 2647
（需要同时有读写权限的，注意token只会展示一次，所以要记得保存）；注：预先要在huggingface上创建好对应的模型仓库。安装huggingface-cli。从huggingface申请。
在hugging face上发布自己的模型 （ubuntu 19.0）
Enoch的博客
08-14 1846
hugging face 上发布自己的模型
大模型微调新手全流程友好指南
master_hunter的博客
05-08 437
在深入讲解之前，我们先来简单地理解一下“微调”的概念：大模型微调（Fine-tuning），就是在预训练好的大语言模型（例如Qwen、GPT系列、DeepSeek等）基础上，利用特定的数据集对模型的参数进行小规模训练，以更好地适应特定任务或领域。比如，你有一个通用的语言模型，但你想专门用来写金融报告或者进行客服问答，那么通过微调，这个模型就能更高效地完成这些特定任务。
【Google Colab】利用unsloth针对医疗数据集进行大语言模型的快速微调（含跑通原代码）
weixin_56463218的博客
04-27 1560
GGUF，全称是 GPT-Generated Unified Format（GPT 生成的统一格式），是一种专门为存储和部署大型语言模型（LLM）设计的文件格式。接着，明确指令，设定模型的角色和任务；然后，写一个函数 formatting_prompts_func，用来把这些数据格式化成想要的样子：从数据里抽出instruction 作为问题，input 作为思考过程，output 作为回答，再用之前定义的 train_prompt_style 模板把它们组合起来，加上结束标记，最后存进一个列表里。
大语言模型联邦学习：保护隐私的AI原生应用开发框架
AI天才研究院
06-24 704
在当今数字化时代，数据隐私问题日益受到关注。大语言模型联邦学习开发框架的出现，旨在解决在不泄露用户隐私数据的前提下，利用多源数据训练强大的大语言模型。本文的范围涵盖了该框架的核心概念、算法原理、实际应用等多个方面，帮助读者深入理解和应用这一技术。本文适合对人工智能、数据隐私保护感兴趣的初学者，也适合有一定编程基础，希望深入了解大语言模型联邦学习的技术人员，还可为相关领域的研究人员提供参考。本文将先介绍核心概念，包括大语言模型、联邦学习等，以及它们之间的联系。然后详细讲解核心算法原理和数学模型，通过项目实战案
Huggingface上传自己的预训练模型（大小权重都可以）
年少的勇气已经用完，剩下的就是三思而后行
05-26 6445
第一次上传可能出现让你输入账号密码，只需要按照要求输入即可。这里需要先到网站页面上进行设置然后复制过来进行登录。克隆来以后就可以把需要上传的文件放入到这个下载的。命令进行登录，登录过程中需要输入用户的。如果你想要手动创建，则可以直接在。就可以跳过这一步了。这个时候如果你发现你。
Huggingface上传自己的模型
u011426236的博客
01-27 6215
Huggingface transformers是一个非常棒的NLP项目，它用pytorch实现了几乎所有的主流预训练模型供研究者学习交流。同时，该项目允许用户上传自定义的预训练模型进行发布。这里简要记录一下上传流程。
在HuggingFace中上传自己的模型
weixin_57253447的博客
02-10 1601
在本地微调了一个模型，想把我的模型上传到Huggingface平台上，下面是上传的操作步骤，供大家参考学习！创建一个 Python 脚本（如。
HuggingFace模型或数据集上传教程—超详细图文
qq_43708555的博客
06-07 4006
本文介绍了如何将模型或数据集上传到Hugging Face平台的完整流程。首先需要注册账号并安装huggingface_hub库，通过CLI登录并获取访问令牌。然后创建模型或数据集仓库，克隆到本地后添加数据文件。关键步骤包括安装Git LFS管理大文件，通过git命令添加、提交并推送文件到远程仓库。整个流程涵盖了从账号准备到最终上传的所有操作，帮助用户高效地共享和复用AI资源。
上传、下载huggingface仓库文件（模型、数据等）
weixin_43301333的博客
04-24 8800
想要上传文件，例如模型权重的话，首先得找到自己huggingface hub的。最后用如下命令，把相关文件（模型、tokenizer）上传就行
NLP文档挖宝(2)——通过Huggingface Transformers 分享与上传自己的预训练模型
天才小呵呵的博客
05-08 4005
最近团队完成了一个面向古文语料的预训练模型，准备拥抱开源，但是没想到被中文的上传指南坑了，看了官网提供的文档，发现中文的翻译文档已经过时了，所以重写来写一下上传的方法。
使用colab快速下载huggingface的大模型文件
qq_43587443的博客
09-06 2466
第三步，指定需要下载的文件list，执行下载操作，在这里我只下载了几个比较大的参数文件，默认下载路径为/content/download/repo_id，如/content/download/hfl---llama-3-chinese-8b-instruct-v3，在colab的文件夹列表中可以找到。近期在学习大模型的微调与部署应用，需要再huggingface下载预训练好的模型参数文件，这时候问题来了！第二步，导入包，定义函数，并从huggingface获取文件列表，代码参考了。首先我们打开colab，
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值