一文彻底搞懂大模型 - Hugging Face Transformers

于 2024-10-09 14:00:00 发布
阅读量1.1k 收藏 10
点赞数 27
文章标签： 人工智能 大模型 自然语言处理 Transformers 大语言模型 LLM AI大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85328934/article/details/142778560
版权

Hugging Face

Hugging Face Transformers是一个开源的预训练模型库，旨在将NLP领域的最新进展向更广泛的机器学习社区开放。该库包含了经过精心设计的最先进的Transformer架构，并提供了易于使用的API**，使得研究人员和开发者能够轻松地加载、微调和使用这些模型。**

Hugging Face Transformers

一、Hugging Face Transformers

Hugging Face Transformers是什么？Hugging Face Transformers是一个强大的Python库**，最初被创建用于开发语言模型，如今它的功能已经扩展到包括多模态（如图像和文本结合）、计算机视觉和音频处理等其他用途的模型。这意味着，除了处理语言数据之外，Hugging Face Transformers还能处理图片和声音数据，使其成为一个多功能的工具库。**

Hugging Face Transformers

该库提供了各种预训练模型，如BERT、GPT-2、RoBERTa、T5等，并支持Pytorch和Tensorflow2.0框架，其设计目标是提供一个易于使用且灵活的接口，以便研究人员和开发人员能够轻松地使用预训练模型。

  1. 提供了大量的预训练模型： 这些模型已经在庞大的数据集上进行过训练，可以直接使用，帮助用户节省了大量的时间和计算资源，让开发过程更加高效。

  2. 设计非常注重易用性： 详细的文档和简洁的API使得开发者可以快速上手，进行实验和开发。

  3. 会定期更新： 包含最新的研究成果和模型，用户可以及时获取和使用最前沿的技术，保持项目的先进性。

  4. 拥有一个活跃且热情的社区： 社区成员不断更新和维护这个库，提供技术支持和新功能。无论是初学者还是专家，都可以在社区中找到帮助和资源。

二、Hugging Face Hub

Hugging Face Hub是什么？ Hugging Face Hub是一个面向机器学习开发者和协作者的社区平台，提供了大量的预训练模型、数据集以及机器学习应用。通过Hugging Face Hub库，用户可以轻松地下载、上传文件，管理存储库，运行推断，搜索资源，以及参与社区互动。****

Hugging Face Hub

Hugging Face Hub库的设计考虑到了易用性和功能性，它支持从Hub下载文件、上传文件到Hub、管理存储库、在部署的模型上运行推断、搜索模型和数据集等功能。此外，它还提供了丰富的API和命令行工具，使得用户可以方便地进行身份验证、创建存储库和上传文件。

  • 模型开发与测试： 开发者可以使用库中的功能下载预训练模型进行本地测试和开发。

  • 模型部署： 通过上传功能，开发者可以将自己的模型部署到Hugging Face Hub，供全球用户访问。

  • 数据集管理： 用户可以上传和下载数据集，进行数据准备和预处理。

  • 社区协作： 通过社区互动功能，用户可以分享自己的模型和数据集，与全球的机器学习社区进行交流和协作。

三、Transformers__核心功能模块

Hugging Face Transformers核心功能模块？** Hugging Face Transformers库的核心功能模块包括：Pipelines、Tokenizer、模型加载和保存。**

Transformers库提供高层API Pipelines简化模型使用，包含多种Tokenizer实现文本格式转换，以及支持模型加载与保存功能以促进模型复用与共享。

  • Pipelines：这是Hugging Face Transformers提供的一个高层API，旨在简化模型的使用过程。通过Pipelines，用户可以轻松地执行各种任务，如文本分类、问答和文本生成等。这个简化的接口使得快速实践大模型变得更加容易，用户只需几行代码就能完成复杂的任务。

Pipelines

  • Tokenizer：Tokenizer是将文本转换为模型可处理的格式的工具。 Hugging Face Transformers提供了多种Tokenizer，支持不同的模型和语言。通过Tokenizer，用户可以轻松地对文本进行编码和解码，准备输入数据和处理输出结果，使得数据处理变得更加高效。

  • 模型加载和保存：Hugging Face Transformers提供了加载和保存模型的功能，使得模型的使用和管理更加方便。用户可以从Hugging Face Hub加载预训练模型，也可以将自己训练的模型保存并分享给其他用户。这样，模型的复用和共享变得更加简单。

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

学习路线

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

Cc不爱吃洋葱
关注
hugging face 使用教程———快速入门
TigerZ*的博客
07-24 2234
本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。
Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）
热门推荐
iioSnail的博客
08-08 7万+
1. Hugging Face是什么，提供了哪些内容 2. Hugging Face模型的使用（Transformer类库） 3. Hugging Face数据集的使用（Datasets类库）
NLP预训练模型加载工具：Huggingface Transformers
sslfk的博客
12-07 503
NLP对应的算法包括： 分词 词向量 句子向量 命名实体识别 意图识别 预训练的模型内容查看：Models - Hugging Face transformers工具的说明文档参考：???? Transformers 著名网络博主：huggingface-Transformer学习笔记1 - 知乎 Huggingface Transformers库学习笔记（一）：入门（Get started）_u011426236的博客-CSDN博客_huggingface transformers入门 .
Hugging Face 的 Transformers 库快速入门 （一）开箱即用的 pipelines
liu_chengwei的博客
10-19 5990
Transformers是由Hugging Face开发的一个 NLP 包，支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起，越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用，因此熟悉 Transformers 库的使用方法很有必要。
AI大模型探索之路-训练篇7：大语言模型Transformer库之HuggingFace介绍
寻道码路，探索编程之路的无限可能。
04-29 5228
在的官方网站上，您可以发现一个丰富的开源宝库，其中包含了众多机器学习爱好者上传的精选模型，供大家学习和应用。此外，您也可以将自己的模型分享至社区，与他人共同进步。HuggingFace因其开放和协作的精神被誉为机器学习界的GitHub。在这里，用户能够轻松获取到Transformers库里各式各样的组件资源，助力各类机器学习项目的实现和发展。
一文彻底搞懂什么是LangChain？
女王の专属领地
02-06 1万+
LangChain赋予了开发人员将LLM与其他计算和知识来源相结合以构建应用程序的能力。使用LangChain，开发人员可以使用一个抽象LLM应用程序的核心构建块的框架。探索LangChain的能力并尝试其各个组件，会发现可能性几乎无限。LangChain框架提供了一种灵活和模块化的语言生成方法，允许创建根据用户特定需要量身定制的定制解决方案。
Hugging Face：成为机器学习界的“GitHub”
OneFlow深度学习框架
09-07 6313
五年前，AI领域的知名研究者Andrej Karpathy发文称，传统人工编程属于“软件1.0”，“软件2.0”时代将以神经网络来编程，在这个过渡过程中，将涌现像GitHub这样的重量级平台。AI届网红公司“抱抱脸（Hugging Face）”有志于成为“软件2.0”时代的GitHub。
使用 DeepSpeed 和 Hugging Face Transformer 微调 FLAN-T5 XL/XXL
Hugging Face
03-20 607
Scaling Instruction-Finetuned Language Models 论文发布了 FLAN-T5 模型，它是 T5 模型的增强版。FLAN-T5 由很多各种各样的任务微调而得，因此，简单来讲，它就是个方方面面都更优的 T5 模型。相同参数量的条件下，FLAN-T5 的性能相比 T5 而言有两位数的提高。Google 在 Hugging Face 上开源了 5 个 FLAN-T...
huggingface实操_语言模型秒变API，一文了解如何部署DistilGPT-2
weixin_39863741的博客
01-13 1409
选自towardsdatascience作者：Celeb Kaiser机器之心编译参与：高璇、Geek AI模型又大又复杂，部署和使用就成了难题。本文是一篇教程，告诉你如何利用HuggingFace推出的DistilGPT-2实现模型部署和使用的愿望。在过去一年的大部分时间里，OpenAI 的 GPT-2 一直是机器学习领域中最热门的话题之一，这是有原因的。这个文本生成模型最初被认为「太危险」而无...
transformers::hugging_face:变形金刚
05-11
Jax，PyTorch和TensorFlow的最新自然语言处理 :hugging_face: 变形金刚提供了数千种经过预训练的模型，可以对100多种语言的文本执行任务，例如分类，信息提取，问题解答，摘要，翻译，文本生成等。 其目的是使尖端的NLP易于所有人使用。 :hugging_face: Transformers提供了API，可以在给定的文本上快速下载和使用那些经过预训练的模型，在您自己的数据集上对其进行微调，然后在我们的上与社区共享。 同时，每个定义架构的python模块都可以独立使用，并可以进行修改以进行快速的研究实验。 :hugging_face: 变形金刚得到了三个最受欢迎的深度学习库 ， 和，它们之间具有无缝集成，允许您使用一个模型训练模型，然后加载模型以进行推理。 在线演示 您可以直接从在其页面上测试我们的大多数。 我们还提供了使用这些模型 。 这里有一些例子： 由Hugging Face团队构建的是此存储库文本生成功能的正式演示。 快速
HuggingFace的Transformers库Tokenizer和Model使用技巧
li1784506的博客
08-09 1万+
Bert模型作为一个强大的双向Transformer模型，已经在NLP领域广泛使用并作为word embeddding 预训练模型深受青睐。Hugging Face的transformers框架包含BERT、GPT、GPT2、ToBERTa、T5等众多模型，同时支持pytorch和tensorflow 2两个框架，本博客主要介绍如何从Hugging Face加载预训练模型及高效使用。
Hugging Face Transformers 学习1
Lyn_S的博客
03-20 850
我们来学习一下 Hugging Face Transformers 这个很方便的NLP library。本节我们首先看一下官方的 Quick Tour: https://huggingface.co/transformers/quicktour.html# Pipeline 官方的解释从pipeline开始。它把所有的东西全部打包到了一起为一个端到端的工具，对初学者非常友好。好，首先加载pipeline from transformers import pipeline 加载完之后我们来创建第一个模型
Hugging face Transformers（4）—— Model
佚失的诗篇
07-09 413
本文介绍 Hugging face transformers 库中 model 组件的用法
Huggingface Transformers各类库介绍（Tokenizer、Pipeline）
艰难困苦，玉汝于成。
12-01 2260
Huggingface是一家在NLP社区做出杰出贡献的纽约创业公司，其创建的库Transformers被广泛使用，Transformers提供了数以千计针对于各种任务的预训练模型模型，开发者可以根据自身的需要，选择模型进行训练或微调，也可阅读api文档和源码， 快速开发新模型。：就是输入的待编码的序列（或1个batch的），可以是字符串或字符串列表。
Huggingface Transformers(1)-Hugging Face官方课程
hehehi
01-03 3062
课程介绍 官方链接 经典模型的处理能力： RNN 10-40 LSTM 50-100 Transformer BERT 512 GPT 1024 Transformer-XL,LXNet 3000-5000 word embedding 预训练模型 fine tune 方法小结 1. Transformer models 什么是自然语言处理？ Classifying whole sentences:评论情感分析，检测电子邮件是否为垃圾邮件，确定句子在语法上是否正确或判断两个
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 414
参考 [小学生也能听得懂的大模型 Transformer 1]
Hugging Face Transformers下载Gemma-2B
最新发布
11-10
Hugging Face Transformers是一个流行的库，它提供了一套用于自然语言处理任务的预训练模型，包括Transformer架构的模型。如果你想要下载名为Gemma-2B的模型，首先你需要确认这个模型是否存在于Hugging Face Model ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值