通过Huggingface分享与上传自己的训练模型

最新推荐文章于 2025-09-25 17:37:26 发布
最新推荐文章于 2025-09-25 17:37:26 发布
阅读量4.1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： git Huggingface Git Bash lfs 大文件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dragon_T1985/article/details/118048749
本文介绍了如何使用Git Bash在本地创建仓库，并通过Huggingface平台上传和管理模型。详细步骤包括克隆公共仓库、提交更改以及处理大文件的上传策略。注意，对于大文件，建议先上传小文件，再单独处理大文件，以确保操作成功。

使用GIT BASH，CD到本地想要建立仓库的地方。

使用Git Bash，CD到本地想要建立Git仓库的目录。在https://huggingface.co/中用自己的账号上传一个模型。以下步骤是public资源的上传方式，private资源需要在git clone命令中加入[username]:[password]@，注意是@，我之前误看成/后白花了不少时间。

git clone https://huggingface.co/dragonStyle/bert-303-step35000

执行完后会新建一个仓库目录。

cd bert-303-step35000（CD到这个仓库目录里）

git add .

下面的报警暂时不知道是否会产生什么影响。

warning: LF will be replaced by CRLF in config.json.
The file will have its original line endings in your working directory
warning: LF will be replaced by CRLF in train_results.txt.
The file will have its original line endings in your working directory
warning: LF will be replaced by CRLF in trainer_state.json.
The file will ha
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI大模型探索之路-训练篇7：大语言模型Transformer库之HuggingFace介绍
寻道AI，探索AI无限可能！
04-29 6335
在的官方网站上，您可以发现一个丰富的开源宝库，其中包含了众多机器学习爱好者上传的精选模型，供大家学习和应用。此外，您也可以将自己的模型分享至社区，与他人共同进步。HuggingFace因其开放和协作的精神被誉为机器学习界的GitHub。在这里，用户能够轻松获取到Transformers库里各式各样的组件资源，助力各类机器学习项目的实现和发展。
将自己训练好的大模型发布到HuggingFace
猴的哥儿的博客
02-22 1502
SettingsNew TokenwriteREADME.mdLICENSE在模型目录中创建README.md。
微调/预训练好的模型从服务器上传至huggingface的方法（不需要魔法）
qq_45898162的博客
07-27 2017
重点来了，hf的link需要更改为镜像的https://hf-mirror.com/进入仓库，并将你想要上传的文件放入文件夹内。安装huggingface-cli。首先要git clone你的模型。
Huggingface上传自己的模型
u011426236的博客
01-27 6190
Huggingface transformers是一个非常棒的NLP项目，它用pytorch实现了几乎所有的主流预训练模型供研究者学习交流。同时，该项目允许用户上传自定义的预训练模型进行发布。这里简要记录一下上传流程。
【附代码】Hugging Face 大型数据集上传完全指南
最新发布
weixin_44212848的博客
09-25 1247
最近在向 Hugging Face 上传一个包含几千个 GLB 文件（总计 133GB）的 3D 模型数据集时，遇到了一系列看似成功但实际失败的问题。经过深入分析和调试，终于理解了 Hugging Face 数据集上传的完整机制。本文将分享这次实战经验，希望能帮助其他开发者避免类似的困惑。理解双重机制：LFS 对象上传 + Git 提交推送都是必需的不要被 “done” 误导：LFS 上传完成不等于整个上传流程完成始终验证状态：使用git status确认所有更改都已推送分步执行：先，再。
在HuggingFace中上传自己的模型
weixin_57253447的博客
02-10 1596
在本地微调了一个模型，想把我的模型上传到Huggingface平台上，下面是上传的操作步骤，供大家参考学习！创建一个 Python 脚本（如。
NLP文档挖宝(2)——通过Huggingface Transformers 分享与上传自己的预训练模型
天才小呵呵的博客
05-08 4004
最近团队完成了一个面向古文语料的预训练模型，准备拥抱开源，但是没想到被中文的上传指南坑了，看了官网提供的文档，发现中文的翻译文档已经过时了，所以重写来写一下上传的方法。
huggingface上传或发布自己的模型（大语言模型LLM）
一位安分的码农的博客
02-28 3250
在注册huggingface账号，登录账号后，在https://huggingface.co/settings/tokens创建token，注意需要将token的类型设置为WRITE。
在hugging face上发布自己的模型 （ubuntu 19.0）
Enoch的博客
08-14 1839
hugging face 上发布自己的模型
Huggingface上传自己的预训练模型（大小权重都可以）
年少的勇气已经用完，剩下的就是三思而后行
05-26 6409
第一次上传可能出现让你输入账号密码，只需要按照要求输入即可。这里需要先到网站页面上进行设置然后复制过来进行登录。克隆来以后就可以把需要上传的文件放入到这个下载的。命令进行登录，登录过程中需要输入用户的。如果你想要手动创建，则可以直接在。就可以跳过这一步了。这个时候如果你发现你。
HuggingFace模型或数据集上传教程—超详细图文
qq_43708555的博客
06-07 3888
本文介绍了如何将模型或数据集上传到Hugging Face平台的完整流程。首先需要注册账号并安装huggingface_hub库，通过CLI登录并获取访问令牌。然后创建模型或数据集仓库，克隆到本地后添加数据文件。关键步骤包括安装Git LFS管理大文件，通过git命令添加、提交并推送文件到远程仓库。整个流程涵盖了从账号准备到最终上传的所有操作，帮助用户高效地共享和复用AI资源。
上传大模型到huggingface的方法（不用梯子）
stay hungry stay foolish
08-10 2608
（需要同时有读写权限的，注意token只会展示一次，所以要记得保存）；注：预先要在huggingface上创建好对应的模型仓库。安装huggingface-cli。从huggingface申请。
huggingface上传自己的模型
kewei chen
02-11 404
【代码】huggingface上传自己的模型。
Huggingface上传模型
kewei chen
02-08 2204
然后使用huggingface-cli login命令进行登录，登录过程中需要输入用户的。最后，使用huggingface-cli repo create model_name来创建自己的模型repo。如果克隆新的存储库，则只需在 Git 凭据管理器要求你提供身份验证凭据时输入令牌代替密码即可。之后，使用cp命令，将自己已经训练好保存的模型文件夹中的内容复制到这个repo中。之后，在网页上打开模型的详情页面就可以看到我们模型保存的文件详细信息。添加完成后，进行git repo的正常上传即可。
Llamaindex RAG 实践
qq_49380079的博客
01-11 459
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档。
上传、下载huggingface仓库文件（模型、数据等）
weixin_43301333的博客
04-24 8788
想要上传文件，例如模型权重的话，首先得找到自己huggingface hub的。最后用如下命令，把相关文件（模型、tokenizer）上传就行
240602-通过命令行实现HuggingFace文件上传
专注机器学习之路
06-02 3008
这样，你就可以通过命令行将文件上传到 Hugging Face 上的模型仓库了。如果有更多具体的需求或问题，请随时告诉我！你可以在 Hugging Face 上创建一个新的模型仓库。假设你要创建一个名为。系统会提示你输入 Hugging Face 的访问令牌。要通过命令行将文件上传到 Hugging Face，可以使用。如果你只想上传特定文件，而不是通过 git 操作，你可以使用。的 Python API。上生成一个新的访问令牌。首先，确保已经安装了。
Hugging Face数据集上传及使用
a_yhr的博客
03-31 1520
使用AutoDL上传本地数据较慢，遂尝试使用Hugging Face进行文件存储与传输。
如何使用 HuggingFace 加载和微调预训练模型？
08-02
使用 HuggingFace 加载和微调预训练模型非常方便，HuggingFace 提供了 `transformers` 库，支持大量的预训练模型（如 BERT、RoBERTa、GPT、T5 等），并提供简单接口用于加载模型、分词器和进行训练。 --- ## ✅ 一、加载预训练模型与分词器 HuggingFace 的 `AutoModel` 和 `AutoTokenizer` 类可以自动识别模型和对应的分词器。 ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification # 指定模型名称（如 HuggingFace 上的模型 ID） model_name = "bert-base-uncased" # 加载分词器 tokenizer = AutoTokenizer.from_pretrained(model_name) # 加载预训练模型，并指定输出类别数量（例如二分类） model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2) ``` --- ## ✅ 二、准备数据集 使用 `datasets` 库加载数据，并进行预处理。 ```python from datasets import load_dataset # 加载一个公开数据集（如 IMDB 电影评论） dataset = load_dataset("imdb") # 对数据进行编码 def tokenize_function(examples): return tokenizer(examples["text"], padding="max_length", truncation=True) tokenized_datasets = dataset.map(tokenize_function, batched=True) # 选择训练集和测试集 train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000)) eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(100)) ``` --- ## ✅ 三、定义训练参数和训练器 使用 `TrainingArguments` 和 `Trainer` 来简化训练流程。 ```python from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=8, num_train_epochs=3, weight_decay=0.01, logging_dir="./logs", logging_steps=10, save_strategy="epoch" ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, ) ``` --- ## ✅ 四、开始训练 ```python trainer.train() ``` --- ## ✅ 五、保存模型 训练完成后，可以将模型保存到本地或上传到 HuggingFace Hub。 ```python model.save_pretrained("./my_finetuned_model") tokenizer.save_pretrained("./my_finetuned_model") ``` --- ## ✅ 六、使用模型进行预测 ```python from transformers import pipeline # 使用 pipeline 快速推理 classifier = pipeline("text-classification", model="./my_finetuned_model", tokenizer=tokenizer) # 测试一个句子 result = classifier("I love using HuggingFace Transformers!") print(result) ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AlphaFinance

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值