huggingface实操_Transformers 简介（上）

作者|huggingface

编译|VK

来源|Github

Transformers是TensorFlow 2.0和PyTorch的最新自然语言处理库

Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT，GPT-2，RoBERTa，XLM，DistilBert，XLNet，CTRL ...) ，拥有超过32种预训练模型，支持100多种语言，并且在TensorFlow 2.0和PyTorch之间具有深厚的互操作性。

特性

与pytorch-transformers一样易于使用

像Keras一样强大而简洁

在NLU和NLG任务上具有高性能

教育者和从业者进入的门槛低

面向所有人的最新NLP架构

深度学习研究人员

练习实践学习人员

AI/ML/NLP教师和教育者

降低计算成本

研究人员可以共享训练好的模型，而不必总是再训练

从业人员可以减少计算时间和生产成本

具有30多种预训练模型的10种架构，其中一些采用100多种语言

为模型生命周期的每个部分选择合适的框架

3行代码训练最先进的模型

TensorFlow 2.0和PyTorch模型之间的深层互操作性

在TF2.0/PyTorch框架之间随意迁移模型

无缝选择合适的框架进行训练，评估和生产

章节

描述

安装

如何安装套件

模型架构

体系结构(带预训练权重)

在线演示

试用文本生成功能

用法

分词和模型使用：Bert和GPT-2

TF2.0和PyTorch

用10行代码训练TF2.0模型，并将其加载到PyTorch中

管道

使用管道：使用管道进行分词和微调

微调与使用脚本

使用提供的脚本：GLUE，SQuAD和文本生成

分享你的模型

上传和与社区共享你的微调模型

从pytorch-transformers到 transformers

将代码从pytorch-transformers迁移到transformers

从pytorch-pretrained-bert迁移到pytorch-transformers

将代码从pytorch-pretrained-bert迁移到transformers

安装

此仓库已在Python 3.5 +，PyTorch 1.0.0+和TensorFlow 2.0.0-rc1上进行了测试

你应该安装虚拟环境中的transformers。如果你不熟悉Python虚拟环境，请查看用户指南。

使用你要使用的Python版本创建一个虚拟环境并激活它。

现在，如果你想使用transformers，你可以使用pip进行安装。如果你想使用这些示例，则必须从源代码安装它。

pip安装

首先，你需要安装TensorFlow 2.0或PyTorch。有关适用于你平台的特定安装命令，请参阅TensorFlow安装页面和/或PyTorch安装页面。

安装TensorFlow 2.0或PyTorch后，可以使用pip如下安装transformers：

pip