一文彻底搞懂大模型 - Hugging Face Transformers

于 2024-10-09 15:31:27 发布
阅读量468 收藏 13
点赞数 9
文章标签： transformer 人工智能 语言模型 ai agi LLM HuggingFace
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bugyinyin/article/details/142788121
版权

Hugging Face

Hugging Face Transformers是一个开源的预训练模型库，旨在将NLP领域的最新进展向更广泛的机器学习社区开放。该库包含了经过精心设计的最先进的Transformer架构，并提供了易于使用的API ，使得研究人员和开发者能够轻松地加载、微调和使用这些模型。

Hugging Face Transformers

一、Hugging Face Transformers

Hugging Face Transformers是什么？ Hugging Face Transformers是 一个强大的Python库 ，最初被创建用于 开发语言模型 ，如今它的功能已经扩展到包括 多模态（如图像和文本结合）、计算机视觉和音频处理等其他用途的模型 。这意味着，除了处理语言数据之外，Hugging Face Transformers还能 处理图片和声音数据 ，使其成为一个多功能的工具库。

Hugging Face Transformers

该库提供了各种预训练模型，如BERT、GPT-2、RoBERTa、T5等，并支持Pytorch和Tensorflow2.0框架，其设计目标是提供一个易于使用且灵活的接口，以便研究人员和开发人员能够轻松地使用预训练模型。

  1. 提供了大量的预训练模型： 这些模型已经在庞大的数据集上进行过训练，可以直接使用，帮助用户节省了大量的时间和计算资源，让开发过程更加高效。

  2. 设计非常注重易用性： 详细的文档和简洁的API使得开发者可以快速上手，进行实验和开发。

  3. 会定期更新： 包含最新的研究成果和模型，用户可以及时获取和使用最前沿的技术，保持项目的先进性。

  4. 拥有一个活跃且热情的社区： 社区成员不断更新和维护这个库，提供技术支持和新功能。无论是初学者还是专家，都可以在社区中找到帮助和资源。

二、Hugging Face Hub

Hugging Face Hub是什么？Hugging Face Hub是一个面向机器学习开发者和协作者的社区平台，提供了大量的预训练模型、数据集以及机器学习应用。通过Hugging Face Hub库，用户可以轻松地下载、上传文件，管理存储库，运行推断，搜索资源，以及参与社区互动。

Hugging Face Hub

Hugging Face Hub库的设计考虑到了易用性和功能性，它支持从Hub下载文件、上传文件到Hub、管理存储库、在部署的模型上运行推断、搜索模型和数据集等功能。此外，它还提供了丰富的API和命令行工具，使得用户可以方便地进行身份验证、创建存储库和上传文件。

  • 模型开发与测试： 开发者可以使用库中的功能下载预训练模型进行本地测试和开发。

  • 模型部署： 通过上传功能，开发者可以将自己的模型部署到Hugging Face Hub，供全球用户访问。

  • 数据集管理： 用户可以上传和下载数据集，进行数据准备和预处理。

  • 社区协作： 通过社区互动功能，用户可以分享自己的模型和数据集，与全球的机器学习社区进行交流和协作。

三、Transformers__核心功能模块

Hugging Face Transformers核心功能模块？Hugging Face Transformers库的核心功能模块包括：Pipelines、Tokenizer、模型加载和保存。

Transformers库提供高层API Pipelines简化模型使用，包含多种Tokenizer实现文本格式转换，以及支持模型加载与保存功能以促进模型复用与共享。

  • Pipelines：这是Hugging Face Transformers提供的一个高层API，旨在简化模型的使用过程。通过Pipelines，用户可以轻松地执行各种任务，如文本分类、问答和文本生成等。这个简化的接口使得快速实践大模型变得更加容易，用户只需几行代码就能完成复杂的任务。

Pipelines

  • Tokenizer：**Tokenizer是将文本转换为模型可处理的格式的工具。**Hugging Face Transformers提供了多种Tokenizer，支持不同的模型和语言。通过Tokenizer，用户可以轻松地对文本进行编码和解码，准备输入数据和处理输出结果，使得数据处理变得更加高效。

  • 模型加载和保存：Hugging Face Transformers提供了加载和保存模型的功能，使得模型的使用和管理更加方便。用户可以从Hugging Face Hub加载预训练模型，也可以将自己训练的模型保存并分享给其他用户。这样，模型的复用和共享变得更加简单。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

bugyinyin
关注
2025秋招LLM大模型多模态面试题（八）- langchain完整面试题
weixin_41496173的博客
09-24 966
1. **什么是 LangChain** 2. **LangChain 包含哪些核心模块** - 模型输入/输出（Model I/O） - 组件管理 - 数据处理 - 链式组合 - 记忆与上下文管理 - 外部集成 3. **一些核心概念** 4. **什么是 LangChain Agent?** 5. **什么是 LangChain model?** 6. **LangChain 包含哪些特点?** 7. **LangChain 如何使用?** - LangChai
hugging face 使用教程———快速入门
TigerZ*的博客
07-24 1351
本篇存在的意义是快速介绍hugging face使用，梳理主要部件，梳理易混淆概念。原因是：目前hugging face的使用，官方放在了3个地方（参考链接部分）：使用文档、NLP教程、Transformers git的readme 文件，很多重叠内容比较浪费时间，很容易看懵。等大家有了主要概念再去看需要具体看某个函数或功能。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 357
参考 [小学生也能听得懂的大模型 Transformer 1]
OpenAl o1大模型：原理、突破、前景及影响
xx_nm98的博客
09-19 1159
北京时间2024年9月13日凌晨，OpenAI正式发布了新的人工智能模型o1（o是orion猎户座，1代表从头再来，也意味着后续将出现更多序列），就是此前OpenAI一直在高调宣传的草莓大模型。OpenAI没有延续使用GPT序列，可见其与传统预训练模型有新的变革性训练方法和功能，o1具备复杂推理能力，解决比目前专业的科学、代码和数学模型所能解决的更难的问题。值得注意的是，相比GPT-4o等其他大模型，一是采用大规模自我对弈强化学习**（Self-play RL）**，设置奖惩机制，让模型自行学习解决问题。
AI大模型 | OpenAI o1（最强推理模型）看这一篇就够了！
star_nwe的博客
09-20 1257
我们即将推出OpenAI o1，这是一种经过强化学习训练的新型大型语言模型，用于执行复杂的推理。o1在回答之前会进行思考——它可以在回应用户之前生成一个长长的内部思路链。-- Open AI 官方定义强化学习训练：o1模型的核心在于其采用了。
RAG（大模型+知识库）落地与知识管理的春天-新的知识运营体系
weixin_59191169的博客
05-23 2469
大模型时代来了，可能你也知道GPT大模型是被海量知识训练出来的，但不知道你有没有问过，什么样的知识才能训练大模型？站在企业的角度，很多企业都有自己的知识库或者文档中心，很多人也都有自己积攒数年的资料库，那是不是用上大模型，就能轻松实现基于自己知识库的智能搜索/智能问答/智能推荐呢？（一）知识基础形态和知识质量在传统的搜索、问答、推荐等场景中，通常会返回一整篇的文档，我们还得在这一大篇资料中去找到自己想要的那一段具体内容。不少企业构建的知识库，其实就是文档库。
Hugging Face：成为机器学习界的“GitHub”
OneFlow深度学习框架
09-07 6284
五年前，AI领域的知名研究者Andrej Karpathy发文称，传统人工编程属于“软件1.0”，“软件2.0”时代将以神经网络来编程，在这个过渡过程中，将涌现像GitHub这样的重量级平台。AI届网红公司“抱抱脸（Hugging Face）”有志于成为“软件2.0”时代的GitHub。
huggingface实操_语言模型秒变API，一文了解如何部署DistilGPT-2
weixin_39863741的博客
01-13 1381
选自towardsdatascience作者：Celeb Kaiser机器之心编译参与：高璇、Geek AI模型又大又复杂，部署和使用就成了难题。本文是一篇教程，告诉你如何利用HuggingFace推出的DistilGPT-2实现模型部署和使用的愿望。在过去一年的大部分时间里，OpenAI 的 GPT-2 一直是机器学习领域中最热门的话题之一，这是有原因的。这个文本生成模型最初被认为「太危险」而无...
电商内容生成：AI大语言模型的创新应用
AI天才研究院
02-24 1114
随着电子商务的飞速发展，内容生成已经成为电商平台的重要组成部分。从商品描述、用户评论到广告文案，大量的内容需要人工编写，这不仅耗费大量人力物力，而且难以保证内容的质量和一致性。近年来，人工智能（AI）技术的发展为解决这一问题提供了新的可能性。特别是大语言模型，如GPT-3等，已经在文本生成、对话系统、机器翻译等多个领域展现出强大的能力。本文将深入探讨如何利用大语言模型在电商内容生成中的应用。随着AI技术的发展，大语言模型在电商内容生成中的应用将越来越广泛。
大规模语言模型从理论到实践 具有外推能力的位置编码
AI天才研究院
05-26 305
1. 背景介绍 随着深度学习技术的不断发展，自然语言处理（NLP）领域也取得了令人瞩目的成果。在过去的几年里，我们已经看到了一系列大规模语言模型的诞生，如OpenAI的GPT系列、Google的BERT和T5等。这些模型在许多自然语言任务中表现出色，成为当今AI研究的热门话题。 然而，如何构建能够生成高质量输出的大规模语言模型仍然是我们
openai最新模型o1全面解读
全世界的博客
09-13 1999
OpenAI的o1模型在多个领域中展现了其强大的应用潜力。无论是在科学研究、编码和数学问题的解决、医疗研究、物理学研究还是软件开发中，o1模型都能提供有力的支持，帮助人们更好地理解和解决复杂的问题。随着技术的不断进步，o1模型的应用场景将会越来越广泛，为各个领域带来更多的创新和突破。## OpenAI o1模型的未来发展。
OpenAI发布o1，首个具备‘推理’能力的模型
微信，抖音等国内主要流量平台打通，企业可以无缝把现有的业务场景接入AI能力
09-13 650
这种与众不同的训练方法，也在提醒我们光年AI的系统，通过自主研发的知识库，能够根据业务需求提供更精准的服务和推荐。OpenAI 正在发布一个名为 o1 的新模型，这是计划中的一系列“推理”模型中的第一个，训练它们以回答比人类更复杂的问题，速度更快。通过我们的平台，企业能够在不需要编程能力的情况下，通过拖拽的方式轻松创建自定义的AI工作流，灵活适应不同的业务场景，实现高效的流量增长。“一个公主和王子将来的年龄一样大，当公主的年龄是王子过去年龄的两倍时，公主的年龄是他们现在年龄和的一半。
一文带你速通RAG、知识库和LLM！
youmaob的博客
05-28 1460
定制知识库是指一系列紧密关联且始终保持更新的知识集合，它构成了 RAG 的核心基础。这个知识库可以表现为一个结构化的数据库形态（比如：MySQL），也可以表现为一套非结构化的文档体系（比如：文件、图图片、音频、视频等），甚至可能是两者兼具的综合形式。
OpenAI全新发布o1模型 - 我们正式迈入了下一个时代
Android23333的博客
09-13 841
大半夜的，OpenAI抽象了整整快半年的新模型。在没有任何预告下，正式登场。正式版名称不叫草莓，草莓只是内部的一个代号。他们的正式名字，叫为什么取名叫o1，OpenAI是这么说的： For complex reasoning tasks this is a significant advancement and represents a new level of AI capability. Given this, we are resetting the counter back to 1 and nam
RAG与知识库搭建
热门推荐
lovely_yoshino的博客
06-11 1万+
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
WebGL加载本地模型
netcy的专栏
05-06 1067
前言 大部分的webgl框架，比如threejs和babylon等，都可以加载obj和gltf模型。 我们的引擎，基于three封装，同样有加载模型的loader，因此加载obj和gltf模型也是很简单就可以实现的。 不过加载文件都是在线的文件，也就是通过url的形式进行加载。 团队开发的三维可视化平台框架，需要能够上传obj和gltf等格式的模型，在上传前，需要先对模型预览，这就涉及到如何加载本地模型的问题了。 加载本地模型 本文以gltf为例，进行说明。 加载本地模型的思路是这样的： 既然引擎可以通过u
大模型微调训练：从理论到实践
最新发布
2401_85375186的博客
09-25 900
好了，我们已经深入讨论了大模型微调训练的方方面面，从理论计算量到实际训练时间的估算，从内存需求到数据量的选择。记住，在实际项目中，这些因素都需要综合考虑。比如，当你知道了数据量和目标模型的参数量，你就可以估算出：所需的理论计算量训练所需的最小内存在给定硬件条件下的预计训练时间所需的存储空间有了这些信息，你就可以更好地规划资源，也能更专业地向项目负责人或老板解释为什么需要这些资源。记住，大模型训练是一个复杂的过程，需要不断实践和调整。
揭秘RAG中的幻觉检测：多种方法全面基准测试，找出最优解！
qingkahui24689的博客
09-20 884
在当前的 Retrieval-Augmented Generation (RAG) 应用中，幻觉问题依然是不可忽视的难题。模型生成的内容往往会出现与事实不符的情况，给用户带来困扰甚至误导。 因此，如何有效检测并避免这些幻觉，成了关键研究方向。今天我们将深入评估 4 个主流 RAG 数据集中的几种流行幻觉检测器。
Hugging Face Transformers模型库中下载
07-22
要从Hugging Face Transformers模型库中下载模型，您可以使用`transformers`库中的`AutoModel`和`AutoTokenizer`来获取所需的模型和令牌化器。 首先，您需要安装`transformers`库，可以使用以下命令通过pip进行安装： ``` pip install transformers ``` 接下来，您可以使用以下示例代码从Hugging Face Transformers模型库中下载模型： ```python from transformers import AutoModel, AutoTokenizer model_name = "model_name" # 替换为您要下载的模型名称，例如"gpt2", "bert-base-uncased"等 model = AutoModel.from_pretrained(model_name) tokenizer = AutoTokenizer.from_pretrained(model_name) ``` 请将`model_name`替换为您要下载的模型的名称。例如，如果您想下载GPT2模型，可以将`model_name`设置为"gpt2"。 这样，您就可以使用下载的模型和令牌化器进行自然语言处理任务了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值