作者|huggingface
编译|VK
来源|Github
Transformers是TensorFlow 2.0和PyTorch的最新自然语言处理库
Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT,GPT-2,RoBERTa,XLM,DistilBert,XLNet,CTRL ...) ,拥有超过32种预训练模型,支持100多种语言,并且在TensorFlow 2.0和PyTorch之间具有深厚的互操作性。
特性
与pytorch-transformers一样易于使用
像Keras一样强大而简洁
在NLU和NLG任务上具有高性能
教育者和从业者进入的门槛低
面向所有人的最新NLP架构
深度学习研究人员
练习实践学习人员
AI/ML/NLP教师和教育者
降低计算成本
研究人员可以共享训练好的模型,而不必总是再训练
从业人员可以减少计算时间和生产成本
具有30多种预训练模型的10种架构,其中一些采用100多种语言
为模型生命周期的每个部分选择合适的框架
3行代码训练最先进的模型
TensorFlow 2.0和PyTorch模型之间的深层互操作性
在TF2.0/PyTorch框架之间随意迁移模型
无缝选择合适的框架进行训练,评估和生产
章节
描述
安装
如何安装套件
模型架构
体系结构(带预训练权重)
在线演示
试用文本生成功能
用法
分词和模型使用:Bert和GPT-2
TF2.0和PyTorch
用10行代码训练TF2.0模型,并将其加载到PyTorch中
管道
使用管道:使用管道进行分词和微调
微调与使用脚本
使用提供的脚本:GLUE,SQuAD和文本生成
分享你的模型
上传和与社区共享你的微调模型
从pytorch-transformers到 transformers
将代码从pytorch-transformers迁移到transformers
从pytorch-pretrained-bert迁移到pytorch-transformers
将代码从pytorch-pretrained-bert迁移到transformers
安装
此仓库已在Python 3.5 +,PyTorch 1.0.0+和TensorFlow 2.0.0-rc1上进行了测试
你应该安装虚拟环境中的transformers。如果你不熟悉Python虚拟环境,请查看用户指南。
使用你要使用的Python版本创建一个虚拟环境并激活它。
现在,如果你想使用transformers,你可以使用pip进行安装。如果你想使用这些示例,则必须从源代码安装它。
pip安装
首先,你需要安装TensorFlow 2.0或PyTorch。有关适用于你平台的特定安装命令,请参阅TensorFlow安装页面和/或PyTorch安装页面。
安装TensorFlow 2.0或PyTorch后,可以使用pip如下安装transformers:
pip