NLP预训练模型加载工具：Huggingface Transformers

已于 2024-01-17 16:58:44 修改
阅读量422 收藏
点赞数 1
分类专栏： NLP 搜索 推荐 文章标签： 自然语言处理 人工智能 机器学习
于 2021-12-07 17:58:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sslfk/article/details/121775235
版权
NLP 同时被 3 个专栏收录
29 篇文章 2 订阅
订阅专栏
推荐
17 篇文章 1 订阅
订阅专栏
搜索
9 篇文章 0 订阅
订阅专栏

NLP对应的算法包括：

  1. 分词
  2. 词向量
  3. 句子向量
  4. 命名实体识别
  5. 意图识别

 预训练的模型内容查看：Models - Hugging Face

transformers工具的简单说明：

Transformers（以往称为 pytorch-transformers 和 pytorch-pretrained-bert）是用于
TensorFlow 2.0 和 PyTorch 的自然语言处理框架。它提供了用于自然语言理解（NLU，Natural Language
Understanding）和自然语言生成（NLG，Natural Language Generation）的最先进的通用架构，包括
BERT、GPT-2、RoBERTa、XLM、DistilBert 与 XLNet 等，具有超过 100 种语言的 32 种以上经过预训练的模型，以及
TensorFlow 2.0 和 PyTorch 之间的深度互操作性。

特性：

  • 与 pytorch-transformers 一样易用
  • 像 Keras 一样强大与简洁
  • 处理 NLU 和 NLG 任务时性能高
  • 教育者和从业者的进入门槛低
  • 低计算成本，研究人员可以共享训练模型，不必再训练，内置 8 种架构，包含 30 多种预训练的模型，其中一些采用 100 多种语言
  • 3 行代码即可训练最先进的模型
  • TensorFlow 2.0 和 PyTorch 模型之间的深层互操作性，可以随意在两个框架之间移动单个模型

学习开发文档参考：🤗 Transformers

著名网络博主：huggingface-Transformer学习笔记1 - 知乎

 masked 多头注意力层：MultiHead-Attention和Masked-Attention的机制和原理_masked multi-head attention-CSDN博客

Huggingface Transformers库学习笔记（一）：入门（Get started）_u011426236的博客-CSDN博客_huggingface transformers入门

会发paper的学渣
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
第三章：AI大模型的主要技术框架3.3 Hugging Face Transformers3.3.2 Transformers基本操作与实例
禅与计算机程序设计艺术
02-05 101
1.背景介绍 在过去几年中，Transformer模型已经成为自然语言处理 (NLP) 社区中的一个热点话题，它带来了巨大的改变，并取得了令人印象深刻的成功。Hugging Face 是一个致力于将 Transformer 模型变得更加易于使用的公司，他们提供了一个名为 Transformers 的库，使得利用预训练好的 Tr
Hugging Face Transformers模型如何使用
zhangzhechun的专栏
03-01 583
上面代码的输出是一个PyTorch张量，表示输入文本的预测分类结果。在这个示例中，由于我们只输入了一条文本，因此输出张量只有一个元素，表示这个文本的分类结果。具体来说，输出张量的值是一个数字，表示模型预测的文本类别，你可以根据你的具体任务和模型设置不同的类别标签。如果你的任务是二分类任务，那么输出值为0表示负类，输出值为1表示正类。接着，我们将输入文本编码为Bert模型的输入格式，并将其传入模型进行推理。你可以使用相似的方法来加载和使用这些模型，只需要将Bert相关的类和函数替换为相应的类和函数即可。
基于Hugging Face -Transformers的预训练模型微调
最新发布
lw19155275856的博客
05-09 985
4.0 基于Hugging Face -Transformers的预训练模型微调
hugging face 模型库的使用及加载 Bert 预训练模型
热门推荐
IT__learning的博客
10-13 2万+
一、hugging face 模型库 Hugging face 是一个专注于 NLP 的公司，拥有一个开源的预训练模型库 Transformers ，里面囊括了非常多的模型例如 BERT、GPT、GPT2、ToBERTa、T5 等。 官网的模型库的地址如下：Hugging face 模型库官网 Hugging face 提供的 transformers 库主要用于预训练模型的载入，需要载入三个基本对象： from transformers import BertConfig from transformer
Huggingface Transformers简约教程（二）
weixin_47779152的博客
03-31 3840
Huggingface Transformers简约教程。初学者的理解视角
自然语言处理-基于预训练模型的方法-笔记
09-01
《自然语言处理-基于预训练模型的方法》是一本深入探讨NLP领域中预训练模型的著作，由车万翔、郭江、崔一鸣合著。该书详细介绍了预训练模型在自然语言处理中的重要性和广泛应用，涵盖了从基础知识到前沿技术的多个...
大型多领域预训练模型数据集：自然语言处理+NLP预训练+多领域数据集+语言模型优化
04-25
这款大模型数据集资源，是一款集自然语言处理、NLP预训练、多领域数据集和语言模型优化于一体的先进工具。它旨在为研究者和开发者提供一个全面、高效的数据集，助力他们在大模型领域取得突破。 无论您是NLP领域的...
NLP预训练模型：自然语言处理预训练模型的集合
02-03
NLP预训练模型：自然语言处理预训练模型的集合
面向自然语言处理任务的预训练模型综述.pdf
04-21
面向自然语言处理任务的预训练模型综述 本文对面向自然语言处理任务的预训练模型进行了综述，总结了当前预训练模型的研究现状，并对代表性的模型特点进行了梳理和归纳。预训练模型的出现解决了深度神经网络中大规模...
自然语言处理中的预训练模型
11-14
目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容：1）预训练模型的原理介绍，包括模型结构、学习准则、发展历程等；2）预训练模型的迁移方法：包括如何通过任务转换、多步...
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 6876
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
大模型训练的得力助手
weixin_41888295的博客
12-05 70
通过RLHF训练，用户可以快速地训练出高质量的深度学习模型，同时提高模型的泛化能力和鲁棒性。DeepSpeed Chat采用了先进的训练算法和优化技术，使得它能够在低成本、快速的基础上，实现高质量的大模型训练。总之，DeepSpeed Chat是一款简单、低成本、快速且高质量的大模型训练工具，它为用户提供了一种全新的深度学习模型训练方式。为了解决这个问题，DeepSpeed团队推出了一款名为Chat的软件工具，它可以帮助用户轻松地训练自己的深度学习模型，同时实现低成本、快速和高质量的大模型训练。
Hugging Face 的Transformers 库 详解
qq_45058947的博客
08-02 259
实际上，根据不同的任务（例如文本分类、生成、翻译等），您可能需要更复杂的步骤，包括设置特定的模型参数、构建特定的数据管道等。在这个过程中，它还会执行一些其他的处理步骤，如将所有文本转化为小写（如果模型是小写的），或者添加特殊的tokens（例如BERT的"[CLS]“和”[SEP]"）。对于一些模型，例如BERT，输出结果的第一个元素会是一个表示每个输入token的隐藏状态的张量。第二个元素是池化后的隐藏状态，这是一个包含整个输入序列信息的固定大小的向量，可以用于分类任务。
py transformers库及windows下使用经验
yichudu
10-17 4350
它首先是一个 NLP 的模型仓库. 远端存储了各种模型的计算图源码和训练好的模型参数, 可通过互联网按需下载.仅有模型是不足以运行 demo 的, 所以它引入 pipeline 设计, 将 {tokenizer 预处理, 模型推断, argmax_id 转 text 后处理} 等流水线化, 提供了统一便捷的api, 方便应用, 调参, 学习.
NLP 训练及推理一体化工具（TurboNLPExp）
腾讯技术工程
01-29 1050
作者：TurboNLP，腾讯 TEG 后台工程师导语NLP 任务（序列标注、分类、句子关系判断、生成式）训练时，通常使用机器学习框架 Pytorch 或 Tensorflow，在其之上定...
如何将 huggingface上的模型文件下载到本地
m0_73222051的博客
10-24 1万+
✏️评论，你的意见是我进步的财富！
Hugging Face教程 - 1、transformers模型库
m0_46850835的博客
11-07 1207
hugging face学习教程- 1、transformers模型库
DeepSpeed超大规模模型训练工具
吴建明wujianming_110117
09-28 2654
DeepSpeed超大规模模型训练工具 2021年 2 月份发布了 DeepSpeed。这是一个开源深度学习训练优化库，包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员，开发了图灵自然语言生成模型( Turing-NLG)，在发表时，为世界上最大的语言模型（拥有 170 亿参数），有着最佳的精度。在2021年 5 月份发布了 ZeRO-2——支持有着 2000 亿参数的模型训练，与最新技术
huggingface transformers使用
06-28
### 回答1： 好的，我很乐意帮助您使用huggingface transformers。transformers是一个自然语言处理库，提供了许多预训练的模型和工具，可以用于各种NLP任务。 以下是使用transformers的一些步骤： 1. 安装transformers库： 您可以使用pip在终端或命令提示符中安装transformers库。请执行以下命令： ``` pip install transformers ``` 2. 加载预训练模型： transformers库提供了许多预训练模型，您可以选择适合您的任务的模型。例如，如果您想对文本进行情感分析，可以使用BERT模型。您可以使用以下代码加载预训练模型： ```python from transformers import BertModel, BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') ``` 3. 处理数据： 在使用模型之前，您需要将数据转换为模型可以处理的格式。您可以使用tokenizer将文本转换为tokens，并使用model将tokens转换为模型可以处理的张量。例如，以下是一个将句子编码为BERT输入的示例： ```python text = "This is a sample sentence." encoded_input = tokenizer(text, padding=True, truncation=True, return_tensors='pt') output = model(**encoded_input) ``` 在这里，我们使用padding和truncation参数将所有句子都填充或截断为相同的长度，以便于模型处理。return_tensors参数指定我们想要输出PyTorch张量格式的编码输入。 4. 进行预测： 现在，您可以使用模型进行预测。对于分类任务，您可以使用模型的输出进行分类。例如，在情感分析任务中，您可以使用输出进行情感预测： ```python import torch logits = output.last_hidden_state.mean(dim=1) # 取最后一层隐藏状态的平均值作为输入特征 predictions = torch.softmax(logits, dim=-1) ``` 在这里，我们将最后一层隐藏状态的平均值作为输入特征，并使用softmax函数将输出转换为概率分布。您可以使用这些概率进行分类预测。 这是一个基本的使用transformers进行NLP任务的示例。希望这可以帮助您入门。如果您有任何问题，请随时提问。 ### 回答2： Huggingface transformers是自然语言处理领域的一个开源框架，专门用于处理文本数据的预处理、模型训练和部署等任务。它目前支持多种预训练模型，包括BERT、GPT、RoBERTa和T5等，还提供了多个预训练模型的权重文件，方便用户直接使用。 Huggingface transformers提供了方便易用的API和示例代码，使得用户可以在少量的代码修改下快速搭建自己的模型。用户只需要按照要求将输入文本转换成模型可接受的格式，就可以使用预训练模型进行文本分类、文本生成、文本翻译等任务。 使用Huggingface transformers可以方便地调整和优化模型的结构和参数，以达到更好的性能。用户可以选择适合自己需求的模型，同时还可以对预处理和后处理等过程进行自定义，来满足不同任务的需求。 除了提供预训练模型和API，Huggingface transformers还支持多种部署方式。用户可以选择将模型部署到云端，也可以将模型部署到移动端或嵌入式设备等环境。 总之，Huggingface transformers是一个功能强大、易于使用的自然语言处理框架，提供了多种预处理、模型训练和部署等功能，能帮助用户快速建立自己的自然语言处理应用。 ### 回答3： Hugging Face Transformers是一个用于自然语言处理任务的Python库，其主要应用是针对预训练模型的微调和推断。该库旨在使用户能够轻松使用各种已有的预训练模型，包括BERT和GPT2等。 它提供了一组工具，以简化使用这些先进技术的过程。 使用Hugging Face Transformers，用户可以快速地构建用于特定自然语言处理任务的模型，如文本分类、命名实体识别、文本生成等。Hugging Face Transformers还提供了一种方法，帮助用户优化文本数据的预处理，以获得更好的性能。该库还提供了各种工具，可以帮助用户对模型进行解释和可视化。 在使用Hugging Face Transformers时，用户首先需要选择一个合适的预训练模型，并使用句子分隔技术将其输入拆分为一组短文本段。 接着，用户需要对该模型进行微调，以适应他们自己的特定任务。Hugging Face Transformers提供了一组简单的API，以便用户轻松地完成这些步骤。 使用Hugging Face Transformers的主要优点是，它使得使用先进的自然语言处理技术变得非常简单。它提供了一组易于使用的工具，其中包括各种自然语言处理任务的预训练模型，以及用于微调和推理的API。此外，Hugging Face Transformers还提供了一些工具，可以帮助用户分析和可视化他们的模型并提高模型的性能。 总之，Hugging Face Transformers是一个完善的自然语言处理框架，可以使得使用先进技术的自然语言处理任务变得更加容易。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

会发paper的学渣

您的鼓励和将是我前进的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值