Hugging Face 的 transformers 库使用（持续完善）

已于 2025-03-07 20:06:05 修改
阅读量929 收藏 10
点赞数 4
分类专栏： 深度学习库 文章标签： 人工智能 深度学习 pytorch nlp
于 2024-12-27 09:29:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38423732/article/details/144758705
版权

Hugging Face 的 transformers 库是一个非常强大的工具，它为各种自然语言处理（NLP）任务提供了预训练的模型，并且简化了模型的加载、训练和推理过程。它支持多种预训练模型，如 BERT、GPT、T5、BART 等。

一、核心组件

  1. AutoTokenizer：用于文本的分词和编码；
  2. AutoModel：加载预训练模型的基础类；
  3. Trainer 和 TrainingArguments：用于微调模型的高阶工具；
  4. Pipeline：封装了从预处理到推理的完整流程，适合快速开发。

1.加载模型和分词器

tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')

model = AutoModel.from_pretrained( “google-bert/bert-base-cased” )

 from_pretrained()可以直接传入模型的名称，从huggingface中下载，也可以直接传入模型的本地路径

    Hugging Face快速入门（重点讲解模型(Transformers)和数据集部分(Datasets)）
    iioSnail的博客
    08-08 7万+
    1. Hugging Face是什么，提供了哪些内容 2. Hugging Face模型的使用（Transformer类库） 3. Hugging Face数据集的使用（Datasets类库）
    Hugging Face Transformers 库
    欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
    02-03 1300
    Hugging Face Transformers 库 1. 背景介绍 1.1 问题由来 Hugging Face Transformers（Hugging Face Transformers）是一个广泛使用的深度学习库，专
    从入门到精通：HuggingFace Transformers库的PyTorch适配指南
    远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
    04-17 929
    HuggingFace Transformers 库是自然语言处理领域中一颗璀璨的明星，它为开发者提供了极为丰富的资源和强大的工具。这个库中包含了大量基于 Transformer 架构的预训练模型，如 BERT、GPT-2、RoBERTa、T5 等。这些预训练模型在大规模的语料库上进行训练，学习到了丰富的语言知识和语义表示，能够很好地捕捉文本中的语义、语法和上下文信息。
    一文彻底搞懂大模型 - Hugging Face Transformers
    xx_nm98的博客
    10-14 1979
    使得研究人员和开发者能够轻松地加载、微调和使用这些模型。，最初被创建用于，如今它的功能已经扩展到包括。这意味着，除了处理语言数据之外，Hugging Face Transformers还能，使其成为一个多功能的工具库。：这些模型已经在庞大的数据集上进行过训练，可以直接使用，帮助用户节省了大量的时间和计算资源，让开发过程更加高效。：详细的文档和简洁的API使得开发者可以快速上手，进行实验和开发。：包含最新的研究成果和模型，用户可以及时获取和使用最前沿的技术，保持项目的先进性。
    HuggingFace的Transformers库Tokenizer和Model使用技巧
    热门推荐
    li1784506的博客
    08-09 1万+
    Bert模型作为一个强大的双向Transformer模型，已经在NLP领域广泛使用并作为word embeddding 预训练模型深受青睐。Hugging Face的transformers框架包含BERT、GPT、GPT2、ToBERTa、T5等众多模型，同时支持pytorch和tensorflow 2两个框架，本博客主要介绍如何从Hugging Face加载预训练模型及高效使用。
    Hugging Face 的Transformers 库 详解
    qq_45058947的博客
    08-02 575
    实际上，根据不同的任务（例如文本分类、生成、翻译等），您可能需要更复杂的步骤，包括设置特定的模型参数、构建特定的数据管道等。在这个过程中，它还会执行一些其他的处理步骤，如将所有文本转化为小写（如果模型是小写的），或者添加特殊的tokens（例如BERT的"[CLS]“和”[SEP]"）。对于一些模型，例如BERT，输出结果的第一个元素会是一个表示每个输入token的隐藏状态的张量。第二个元素是池化后的隐藏状态，这是一个包含整个输入序列信息的固定大小的向量，可以用于分类任务。
    AI大模型探索之路-训练篇7：大语言模型Transformer库之HuggingFace介绍_huggingface transformer库
    HUANGXIN9898的博客
    10-31 3209
    在的官方网站上，你可以发现一个丰富的开源宝库，其中包含了众多机器学习爱好者上传的精选模型，供大家学习和应用。此外，你也可以将自己的模型分享至社区，与他人共同进步。HuggingFace因其开放和协作的精神被誉为机器学习界的GitHub。在这里，用户能够轻松获取到Transformers库里各式各样的组件资源，助力各类机器学习项目的实现和发展。1）HuggingFace的核心库是Transformers，这个库集成了各种预训练模型、分词器和相应的工具。
    【自然语言处理】Hugging Face Transformers库全面解析：从安装到模型微调与进阶应用
    最新发布
    05-21
    内容概要：本文全面解析了Hugging Face Transformers库的使用方法，涵盖从基础安装到进阶应用的各个方面。首先介绍了大型预训练模型在自然语言处理等领域的重要性，并强调了Hugging Face Transformers库的强大功能和...
    使用Hugging Face Transformers库进行实际项目 - Transformer教程
    shandianfk_com的博客
    08-14 413
    本文详细介绍了如何使用Hugging Face Transformers库进行实际项目。内容包括环境准备、加载预训练模型、进行文本分类任务、模型评估和模型部署。通过具体的示例代码，读者可以快速掌握Transformer模型的应用方法。文章适合对NLP和深度学习感兴趣的开发者，希望能帮助大家更好地理解和使用这些先进的模型。
    Transformer大模型实战 Hugging Face的Transformers 库
    AI天才研究院
    06-25 746
    1.背景介绍 在自然语言处理（NLP）领域，Transformer模型已经成为了一种标准的架构。自从2017年由Google首次提出以来，Transformer模型以其独特的自注意力机制（Self-Attention Mechanism）和并行处理的优势，逐渐在各种NLP任务中取得了显著的成果。然而，Transformer模型的实现和优化并非易事，需要
    基于Hugging Face Transformers库的GPT系列模型文本生成指南
    11-05
    内容概要：本文详细介绍了Hugging Face的Transformers库，重点讲解了如何使用该库中的GPT系列模型进行文本生成。内容涵盖了库的特点、使用示例、环境搭建、模型加载与使用、基本和高级文本生成技巧、模型微调以及...
    huggingface NLP -Transformers库
    weixin_40455124的博客
    12-14 1241
    1.1 易于使用：下载、加载和使用最先进的NLP模型进行推理只需两行代码即可完成。1.2 灵活：所有型号的核心都是简单的PyTorch nn.Module 或者 TensorFlow tf.kears.Model，可以像它们各自的机器学习（ML）框架中的任何其他模型一样进行处理。1.3 简单：当前位置整个库几乎没有任何摘要。“都在一个文件中”是一个核心概念：模型的正向传递完全定义在一个文件中，因此代码本身是可以理解的，并且是可以破解的。
    Pytorch transformers库(huggingface)(bert)
    hxxjxw的博客
    03-23 4290
    这就是hugging face的库。
    Huggingface中Transformer模型使用
    苏云南雁的博客
    03-11 5083
    2、如何培养模型的学习能力？自然语言处理就像我们读书一样，要训练它的阅读能力、学习能力、理解能力，给出的是一系列阅读材料，然后想办法让它理解语言，不仅仅是一个分类的专项技能，这里就涉及到注意力机制了。1、自然语言处理究竟要做一件什么事呢？自然语言处理最终解决的是分类问题，但是它不仅仅输出一个分类的预测结果，关键的在于构建一个聪明的模型，不光能学习不同数据集的问题，还能处理不同类别的问题。
    PyTorch版HuggingFace Transformer模型库实战指南
    qq_3213559056_Q的博客
    06-11 611
    寻找使用、研究或者继承大规模的Tranformer模型的机器学习研究者和教育者想微调模型服务于他们产品的动手实践就业人员想去下载预训练模型，解决特定机器学习任务的工程师尽可能见到迅速上手（只有3个标准类，配置，模型，预处理类。两个API，pipeline使用模型,trainer训练和微调模型，这个库不是用来建立神经网络的模块库，你可以用Pytorch,Python,TensorFlow,Kera模块继承基础类复用模型加载和保存功能）
    全面解析大型模型——Hugging Face Transformers使用指南
    2401_85373898的博客
    10-28 3060
    使得研究人员和开发者能够轻松地加载、微调和使用这些模型。，最初被创建用于，如今它的功能已经扩展到包括。这意味着，除了处理语言数据之外，Hugging Face Transformers还能，使其成为一个多功能的工具库。：这些模型已经在庞大的数据集上进行过训练，可以直接使用，帮助用户节省了大量的时间和计算资源，让开发过程更加高效。：详细的文档和简洁的API使得开发者可以快速上手，进行实验和开发。：包含最新的研究成果和模型，用户可以及时获取和使用最前沿的技术，保持项目的先进性。
    Huggingface Transformers库学习笔记（三）：使用Transformers（下）（Using Transformers Part 2）
    u011426236的博客
    04-09 2029
    前言 本部分是Transformer库的基础部分的下半部分，主要包括训练和微调、模型共享和上传、分词器汇总、多语言模型。 Huggingface Transformers库学习笔记（三）：使用Transformers（Using Transformers Part 2）前言使用Transformers（Using Transformers）训练和微调（Training and fine-tuning）在本地PyTorch中进行微调（Fine-tuning in native PyTorch）冻结编码器（F
    Hugging Face 的 Transformers 库快速入门 （一）开箱即用的 pipelines
    liu_chengwei的博客
    10-19 6663
    Transformers是由Hugging Face开发的一个 NLP 包，支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起，越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用，因此熟悉 Transformers 库的使用方法很有必要。
    详解：Hugging Face的`transformers`库
    qq_45058947的博客
    07-31 427
    库是一个非常强大的工具，它提供了大量预训练模型，可以用于各种自然语言处理任务，包括但不限于分类（如文本分类、情感分析），生成（如文本生成），理解（如问答，摘要），转换（如翻译）等。在进行自然语言处理任务时，可以使用分词器和模型对文本进行处理。库进行自然语言处理任务时，通常需要先进行分词。在上述代码中，首先使用分词器对文本进行分词，然后将分词后的结果输入到模型中进行处理。可以通过模型的名称来加载预训练模型。具体的使用方法可能会因任务的不同而有所不同。库提供了一些方便的工具来帮助训练和微调模型。
    Hugging Face Transformers 库如何安装？
    02-21
    安装 Hugging Face 的 `transformers` 库是一个相对简单的过程，下面将详细介绍步骤，并提供一些建议确保你能顺利上手。 ### 安装步骤 #### 方式一：通过 pip 直接安装（推荐） 这是最常用也是最简便的方式。只需要打开命令行工具（Windows 用户可以使用 CMD 或 PowerShell；Mac/Linux 用户则可以在终端里操作），然后输入以下指令即可完成最新版本的安装： ```bash pip install transformers ``` 如果你想要同时获取依赖项如 Tokenizers 和 Datasets ，可以用这条命令一次性搞定所有必要的软件包： ```bash pip install transformers[torch] datasets ``` 这里假设你在用 PyTorch 框架做开发工作，如果是基于 TensorFlow 可以换成 `[tf-cpu]` 参数。 #### 方式二：从源码仓库克隆并本地编译安装 对于那些希望参与到项目贡献或者需要对某些功能定制化的用户来说，可以从 GitHub 上直接下载最新的代码库再进行编译安装: 1. 克隆官方 Git 仓库： ```bash git clone https://github.com/huggingface/transformers.git cd transformers ``` 2. 创建虚拟环境并激活。（这一步不是强制性的但是强烈建议这样做以免污染全局Python环境） 3. 编辑配置文件修改默认设置(如果有必要的话) 4. 执行 setup.py 文件完成自定义化后的程序部署 5. 验证是否成功加载新版本的功能模块。 注释：此方法更适合有一定经验的技术人员尝试。 --- ### 版本兼容性提示 为了保证最佳性能体验，请务必确认所使用的 Python、PyTorch/TensorFlow 等组件之间相互匹配一致。通常情况下，默认跟随主流稳定版就可以了，除非有特殊需求才会考虑提前尝鲜尚未正式发布的候选版本(candidates release)。 以上就是关于怎样正确安装 Hugging Face Transformer 的全部内容啦～希望能帮到你！
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值