pytorch resnet50预训练模型_最强NLP预训练模型库PyTorchTransformers正式开源！支持6个预训练框架，27个预训练模型...

作者 | Hugging Face 译者 | Sambodhi 编辑 | 陈思 AI 前线导读：日前，Github 上有一个非常不错的 NLP 工具发布了：PyTorch-Transformers。该项目支持 BERT、GPT、GPT-2、Transformer-XL、XLNet、XLM 等，并包含了 27 个预训练模型。 更多优质内容请关注微信公众号“AI 前线”(ID：ai-front)

照例先上开源地址：

https://github.com/huggingface/pytorch-transformers#quick-tour

官网：

https://huggingface.co/pytorch-transformers/index.html

PyTorch-Transformers(正式名称为 pytorch-pretrained-bert)是一个用于自然语言处理(NLP)的最先进的预训练模型库。

该库目前包含下列模型的 PyTorch 实现、预训练模型权重、使用脚本和下列模型的转换工具：

1. BERT (来自 Google)：作者 Jacob Devlin、Ming-Wei Chang、Kenton Lee 和 Kristina Toutanova：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(《BERT：用于语言理解的深度双向 Transformer 的预训练》)

2. GPT (来自 OpenAI)：作者 Alec Radford、Karthik Narasimhan、Tim Salimans 和 Ilya Sutskever：Improving Language Understanding by Generative Pre-Training (《通过生成式预训练提高语言理解能力》)

3. GPT-2 (来自 OpenAI)：作者Alec Radford、Jeffrey Wu、Rewon Child、David Luan、Dario Amodei 和 Ilya Sutskever：Language Models are Unsupervised Multitask Learners (《语言模型是无监督的多任务学习器》)

4. Transformer-XL (来自 Google/CMU)：作者 Zihang Dai、Zhilin Yang、Yiming Yang, Jaime Carbonell、Quoc V. Le、Ruslan Salakhutdinov：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context (《Transformer-XL：超长上下文关系的注意力语言模型》)

5. XLNet (来自 Google/CMU)：作者 Zihang Dai、Zhilin Yang、Yiming Yang、Jaime Carbonell、Quoc V. Le、Ruslan Salakhutdinov：XLNet: Generalized Autoregressive Pretraining for Language Understanding (《XLNet：用于语言理解的广义自回归预训练》)

6. XLM (来自 Facebook)：作者 Guillaume Lample 和 Alexis Conneau：Cross-lingual Language Model Pretraining (《跨语言的语言模型预训练》)

这些实现已在几个数据集上进行测试(参见示例脚本)，应该与原始实现的性能相当(例如，BERT 全词覆盖(Whole-Word-Masking)在 SQUAD 数据集上的 F1 分数为 93，OpenAI GPT 在 RocStories 上的 F1 分数为 88，Transformer-XL 在 WikiText 103 上的 困惑度为 18.3、XLNet 的 STS-B 上的皮尔逊积矩相关系数为 0.916)。用户可以在官方网站的文档示例部分中，找到有关性能的更多详细信息。

安  装

此 repo 在 Python 2.7 和 3.5+(示例代码仅在 Python 3.5+ 上通过测试)以及 PyTorch 0.4.1 到 1.1.0 上进行了测试。

使用 pip 进行安装

pip install pytorch-transformers

从源进行安装

克隆存储库并运行如下命令：

pip install [--editable] .

测试

该库和示例脚本包含了一系列测试。库测试可在 “tests” 文件夹中找到，示例脚本的测试可以在 “examples”文件夹 中找到。

这些测试可以使用 pytest 运行(如果需要，可以使用 pip install pytest 来安装 pytest)。

你可以使用以下命令从克隆存储库的根目录进行测试：

python -m pytest -sv ./pytorch_transformers/tests/
python -m pytest -sv ./examples/

快速指南

让我们快速导览一下 PyTorch-Transformer。每个模型架构(Bert、GPT、GPT-2、Transformer-XL、XLNet、XLM)的详细示例均可在 完整的文档 中找到。

import torch
from pytorch_transformers import *

# PyTorch-Transformers has a unified API
# for 6 transformer architectures and