拥抱AI未来：Hugging Face平台使用指南与实战技巧

已于 2024-11-27 23:45:26 修改
阅读量9.4k 收藏 89
点赞数 142
文章标签： 人工智能 语言模型 自然语言处理 深度学习 transformer
于 2024-11-23 21:52:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_76820214/article/details/143999541
版权

88bba47677184d4e93198a05aca307d9.jpeg

目录

 

🍔 huggingface介绍

🍔 使用步骤

2.1 创建一个帐户

2.2 登录

2.3 在huggingface上创建模型仓库

2.4 上传本地模型到平台

1 页面发布步骤介绍

2 git clone操作

3 把我们要上传的模型文件copy到本地mymodel04文件夹中

4 上传本地mymodel04文件夹中的模型文件，到服务器mymodel04中

5 确认模型是否已经上传到HuggingFace平台上

2.5 通过git clone进行模型下载

2.6 加载下载的模型

🍔 小结


ab65cb5779584dfebbe41ccfeb98fb8b.gif

学习目标

  • 掌握huggingface平台使用

🍔 huggingface介绍

Huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。他们所提供的聊天机器人技术一直颇受欢迎，但更出名的是他们在NLP开源社区上的贡献。Huggingface一直致力于自然语言处理NLP技术的平民化(democratize)，希望每个人都能用上最先进(SOTA, state-of-the-art)的NLP技术，而非困窘于训练资源的匮乏。同时Hugging Face专注于NLP技术，拥有大型的开源社区。尤其是在github上开源的自然语言处理，预训练模型库 Transformers，已被下载超过一百万次，github上超过24000个star。Transformers 提供了NLP领域大量state-of-art的 预训练语言模型结构的模型和调用框架。

🍔 使用步骤

  • 第一步: 在https://huggingface.co/join上创建一个帐户
  • 第二步: 在可视化界面登陆用户
  • 第三步: 在huggingface上创建模型仓库
  • 第四步: 通过git把本地模型，上传到HuggingFace平台的模型仓库中
  • 第五步: 通过git clone进行模型下载
  • 第六步: 加载下载的模型

2.1 创建一个帐户

在https://huggingface.co/join上创建一个帐户

7f8ed7e813bd4738bbffd858e576c684.png

d4dbc89f47c9447d993cac951cb1ee3b.png

2.2 登录

c7b20c071ebf4e0aa76d94503f2487f5.png

2.3 在huggingface上创建模型仓库

  • 在huggingFace平台上注册完毕后，会弹出欢迎页面： https://huggingface.co/welcome 该页面显示了详细的上传模型，下载模型的方法。
  • 详细如下：

f14ce4f79aa84833ada78303601c5165.png

  • 通过界面在huggingface上创建模型仓库

  • 点击个人头像，点击创建模型命令【new Mode】

16a9770364c74db0ba88109c515171ed.png

  • 输入【自己名称】、【模型名称】

906bc8923c63486d8d084b89a18bf64a.png

  • 显示自己创建的模型

fe61ee2ed24e48c8bf5b458e65a662b0.png

2.4 上传本地模型到平台

通过git把本地模型，上传到HuggingFace平台的模型仓库中

1 页面发布步骤介绍

f19956ff48dd426fa4ea926e368dd387.png

2 git clone操作

先通过git clone操作把huggingface服务器上的文件目录给“拉”下来在本地路径下，执行如下命令：

# xxx/mymodel04 --> 这个是你在huggingface上创建的代码仓库, 根据自己的情况适当更换一下.
git clone https://huggingface.co/xxx/mymodel04

注意点:

  • 在本地会出现一个mymodel04文件夹

  • 在执行git clone之前确保本地文件夹是否已经存在mymodel04，避免本地文件被覆盖。或者把已经存在的mymodel04目录修改名字.

a7865e60b9e341788ba825a59042242e.png

3 把我们要上传的模型文件copy到本地mymodel04文件夹中

  • 先将目录先切换至mymodel04文件夹中
cd mymodel04
  • 根据目录结构，选中把bert_finetuning_test目录下的模型文件上传到huggingFace平台，需要把bert_finetuning_test目录下的模型文件，copy到mymodel04目录下。
cp -r /root/transformers/examples/pytorch/text-classification/bert-base-uncased-finetuning  .

4 上传本地mymodel04文件夹中的模型文件，到服务器mymodel04中

git add .       # 把本地待上传的模型文件与hugging平台建立关联
git commit -m "commit from $USER" # 添加评注
git push    # 向huggingface平台上传模型文件

注意点: git push 向服务器上传模型文件，需要两次输入密码

ca598e7037d941a2ac8801883ddea2f4.png

5 确认模型是否已经上传到HuggingFace平台上

488a169925c54ffaba15612100dc08d6.png

2.5 通过git clone进行模型下载

git clone https://huggingface.co/xxx/mymodel4

2.6 加载下载的模型

import torch
from transformers import AutoModel, AutoTokenizer

# 网络加载
tokenizer = AutoTokenizer.from_pretrained('xxx/mymodel4')
model = AutoModel.from_pretrained('xxx/mymodel4')

index = tokenizer.encode("Talk is cheap", "Please show me your code!")
# 102是bert模型中的间隔(结束)符号的数值映射
mark = 102

# 找到第一个102的索引, 即句子对的间隔符号
k = index.index(mark)

# 句子对分割id列表, 由0，1组成, 0的位置代表第一个句子, 1的位置代表第二个句子
segments_ids = [0]*(k + 1) + [1]*(len(index) - k - 1)
# 转化为tensor
tokens_tensor = torch.tensor([index])
segments_tensors = torch.tensor([segments_ids])

# 使用评估模式
with torch.no_grad():
    # 使用模型预测获得结果
    result = model(tokens_tensor, token_type_ids=segments_tensors)
    # 打印预测结果以及张量尺寸
    print(result)
    print(result[0].shape)
  • 输出效果:
(tensor([[[-0.1591,  0.0816,  0.4366,  ...,  0.0307, -0.0419,  0.3326],
         [-0.3387, -0.0445,  0.9261,  ..., -0.0232, -0.0023,  0.2407],
         [-0.0427, -0.1688,  0.5533,  ..., -0.1092,  0.1071,  0.4287],
         ...,
         [-0.1800, -0.3889, -0.1001,  ..., -0.1369,  0.0469,  0.9429],
         [-0.2970, -0.0023,  0.1976,  ...,  0.3776, -0.0069,  0.2029],
         [ 0.7061,  0.0102, -0.4738,  ...,  0.2246, -0.7604, -0.2503]]]), tensor([[-3.5925e-01,  2.0294e-02, -2.3487e-01,  4.5763e-01, -6.1821e-02,
          2.4697e-02,  3.8172e-01, -1.8212e-01,  3.4533e-01, -9.7177e-01,
          1.1063e-01,  7.8944e-02,  8.2582e-01,  1.9020e-01,  6.5513e-01,
         -1.8114e-01,  3.9617e-02, -5.6230e-02,  1.5207e-01, -3.2552e-01,
          ...
          1.4417e-01,  3.0337e-01, -6.6146e-01, -9.6959e-02,  8.9790e-02,
          1.2345e-01, -5.9831e-02,  2.2399e-01,  8.2549e-02,  6.7749e-01,
          1.4473e-01,  5.4490e-01,  5.9272e-01,  3.4453e-01, -8.9982e-02,
         -1.2631e-01, -1.9465e-01,  6.5992e-01]]))
torch.Size([1, 12, 768])

🍔 小结

学习了通过微调脚本微调后模型的使用步骤:

  • 第一步: 在https://huggingface.co/join上创建一个帐户

  • 第二步: 在可视化界面登陆用户

  • 第三步: 在huggingface上创建模型仓库

  • 第四步: 通过git把本地模型，上传到HuggingFace平台的模型仓库中

  • 第五步: 通过git clone进行模型下载

  • 第六步: 加载下载的模型

1a2ee062c9ad4a89aae366fa0dde5f47.gif 

a735c42edef24f64a23f0ba3daad641a.jpeg 

 

AIGC实战——生成式人工智能总结与展望
盼小辉丶的博客
10-31 1万+
近年来，生成模型取得了突破性进展，生成式人工智能拥有了无限可能性和潜在影响，有着无限的实际应用潜力，我们期待着生成式人工智能够产生更广泛的影响。生成模型领域不仅仅是关于创建图像、文本或音乐的应用，而且生成式深度学习隐藏着人工智能的本质。在本节中，将概述生成式人工智能的发展历史，然后探讨生成式人工智能面临的机遇和挑战，介绍可能的发展方向，以及它对社会的潜在影响，并解决主要的伦理和实践问题。
hugging face 使用教程———快速入门
TigerZ*的博客
07-24 1万+
本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。
深度学习笔记：HuggingFace入门使用
weixin_58430619的博客
02-22 5105
Hugging Face 其实可以类比为机器学习领域的 GitHub，它是用于分享、协作和托管预训练模型、数据集和相关代码的平台。其主要的优势是提供了简单易用的 API 和界面，使得即使是没有深厚机器学习背景的用户也能轻松使用这些模型。
【一文详解】Hugging face训练学习大模型的必懂技能
longxiaotian718的博客
03-08 2557
1）注册并登录HuggingFace平台：首先，你需要在HuggingFace官网上注册一个账号并登录。这将使你能够访问平台上的所有资源和功能。2）选择合适的模型和数据集：在平台上浏览并选择合适的预训练模型和数据集。你可以根据自己的需求和任务来选择相应的模型和数据集。3）下载并加载模型和数据集：一旦选择了模型和数据集，你可以直接下载并加载到本地环境中。HuggingFace提供了详细的文档和教程来帮助你完成这个过程。4）进行NLP任务：使用加载好的模型和数据集进行NLP任务。
Huggingface 详细使用教程
l18817813618的博客
04-06 7771
Hugging face 详细使用教程
Huggingface使用
跟派大星学编程
08-06 4962
本次只介绍 NLP（Natural Language Processing）相关的模型，其他的，如 文本生成语音，文本生成图片相关的模型不做过多介绍，使用起来基本都大差不差的。fw=pt。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 8438
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
HuggingFace快速入门
chengxuyuanyy的博客
06-29 1万+
和 Github 类似，都是Hub(社区)。Hugging Face可以说的上是机器学习界的Github。
【Hugging Face全面拥抱LangChain：全新官方合作包】
lhx17673139267的博客
07-03 1810
通过上述介绍，相信你已经可以轻松地在你的LangChain项目中集成平台的强大功能。无论是聊天机器人、文本嵌入还是数据集加载，平台都能为你提供更多的开源模型的支持。
传统IT人如何拥抱AI大模型：入门指南
weixin_45607947的博客
06-13 872
在当前技术飞速发展的时代，AI大模型（如GPT-4、BERT等）已经成为企业提升效率和创新的重要工具。然而，对于许多传统IT从业人员而言，由于数学基础薄弱且缺乏算法调优的能力，如何入门和应用这些先进技术成为一个难题。本文将提供一些实用建议，帮助传统IT从业人员逐步迈入AI大模型的世界。
AI人工智能领域，AI写作带来的变革
最新发布
AI天才研究院
04-04 1064
本文旨在系统性地分析AI写作技术的发展现状、核心原理及其对内容创作行业的深远影响。AI写作的核心技术架构主流文本生成模型的工作原理AI写作在实际场景中的应用案例人机协作写作的最佳实践行业面临的挑战和未来趋势第2章深入解析AI写作的核心概念和技术架构第3章详细讲解关键算法原理和实现步骤第4章建立数学模型并解释其工作原理第5章通过实际项目案例展示AI写作的应用后续章节则探讨应用场景、工具资源和未来趋势AI写作：利用人工智能技术自动或半自动生成文本内容的过程。
AIGC从入门到实战：焦虑：AIGC 时代下的职业该如何规划
AI天才研究院
07-21 746
AIGC从入门到实战：焦虑：AIGC时代下的职业规划 1. 背景介绍 1.1 问题的由来 在科技的快速发展中，人工智能、自然语言生成（AIGC）、机器学习等技术正以前所未有的速度重塑各行各业。尤其是AIGC技术的出现，为人类
实用篇 | huggingface的一些应用指导
weixin_44649780的博客
05-11 5206
本文主要介绍hugging Face(拥抱脸)的简单介绍以及常见用法，用来模型测试是个好的工具~如下图所示左边框是各项任务，包含多模态（Multimodal），计算机视觉(Computer Vision)，自然语言处理(NLP)等，右边是各任务模型。本文测试主要有。
HuggingFace简明教程
weixin_44748589的博客
08-16 2万+
什么是huggingface？huggingface是一个开源社区，它提供了先进的NLP模型，数据集，以及其他便利的工具。这些数据集可以根据任务、语言等来分类官方文档：主要的模型：自回归：GPT2、Transformer-XL、XLNet自编码：BERT、ALBERT、RoBERTa、ELECTRA安装环境：前置环境：python、pytorch安装#安装transformers#pip安装#conda安装#安装datasets#pip安装#conda安装。......
【Hugging Face】使用方法和如何挑选一个自己需要的模型
weixin_56463218的博客
08-21 1万+
注册之后（国内邮箱免费注册）会有个人主页，用来调试创建自己的模型和数据集右边是网站中的模型使用趋势，左边：注册账户后可以提供免费训练模型和数据集的工作台，创建即可（因为暂时用不到，不做详细说明）
Huggingface的介绍，使用（CSDN最强Huggingface入门手册）
热门推荐
大模型天花板
11-29 7万+
Huggingface即是网站名也是其公司名，随着transformer浪潮，Huggingface逐步收纳了众多最前沿的模型和数据集等有趣的工作，与transformers库结合，可以快速使用学习这些模型。进入Huggingface网站,如下图所示。Models（模型），包括各种处理CV和NLP等任务的模型，上面模型都是可以免费获得Datasets（数据集），包括很多数据集Spaces（分享空间），包括社区空间下最新的一些有意思的分享，可以理解为huggingface朋友圈。
Huggingface使用指南
zzmlettery的博客
11-10 1165
sapces，一键试用别人的模型，有什么需求直接搜索虽然只支持英文搜索随便试一个虚拟换衣服的，确实可以，但是他这个算力是哪提供的，不要钱的？食用指南|Ollama的本地调用|豆包MarsCode AI刷题这篇文章是下载ollama的官方程序，用指令运行本文最关键的就是troch库的下载和huggingface的使用上如果硬要对比的话，都要下载和缓存模型文件，其实没差多少如果你本身有c++相关的环境那还是transformers库好一些。
Hugging Face 使用指南——并行智算云
weixin_46144186的博客
10-28 2111
huggingface-cli 是 huggingface_hub 包的一部分。安装完成后，您或许仍然不能使用 huggingface-cli 命令来下载模型和数据集等操作。#TODO。
如何使用Hugging Face微调大语言模型（LLMs）
FrenzyTechAI的博客
01-26 5846
微调LLM时，了解你的使用场景和要解决的问题至关重要。这将帮助你选择合适的模型，或者帮助你创建一个数据集来微调你的模型。如果你还没有定义你的使用场景，你可能需要重新思考。并非所有的使用场景都需要微调，建议在微调你自己的模型之前，先评估和尝试已经微调过的模型或基于API的模型。例如，我们将使用以下使用场景：我们想要微调一个模型，它可以基于自然语言指令生成SQL查询，然后可以集成到我们的BI工具中。目标是减少创建SQL查询所需的时间，并使非技术用户更容易创建SQL查询。
huggingface使用教程
07-11
你好！关于huggingface的使用教程，我可以给你一些指导。首先，huggingface是一个提供自然语言处理（NLP）模型和工具的开源库。它包含了许多预训练的模型，可以用于文本生成、文本分类、命名实体识别等任务。 下面是一个简单的教程，帮助你开始使用huggingface： 1. 安装huggingface库：你可以使用pip命令安装huggingface库，运行以下命令： ``` pip install transformers ``` 2. 导入所需的模型和工具：根据你的任务需求，导入相应的模型和工具。例如，如果你想使用GPT模型进行文本生成，可以运行以下代码： ```python from transformers import GPT2LMHeadModel, GPT2Tokenizer # 加载GPT模型和分词器 model = GPT2LMHeadModel.from_pretrained('gpt2') tokenizer = GPT2Tokenizer.from_pretrained('gpt2') ``` 3. 处理输入数据：使用分词器对输入进行分词和编码。例如，如果你想生成一段文本，可以运行以下代码： ```python input_text = "你要生成的文本" # 对输入进行分词和编码 input_ids = tokenizer.encode(input_text, return_tensors='pt') ``` 4. 生成输出：使用加载的模型对输入进行预测并生成输出。例如，对于文本生成任务，可以运行以下代码： ```python # 使用模型生成输出 output = model.generate(input_ids, max_length=100) # 解码输出文本 output_text = tokenizer.decode(output[0], skip_special_tokens=True) print(output_text) ``` 以上是一个简单的huggingface使用教程，希望可以帮助到你入门。如果你想了解更多关于huggingface的功能和用法，可以参考官方文档和示例代码。祝你使用huggingface愉快！如果你还有其他问题，欢迎继续提问。
评论 121
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值