HuggingFace‘s Transformers：SOTA NLP

原文：Wolf, Thomas, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Rémi Louf, Morgan Funtowicz and Jamie Brew. “HuggingFace's Transformers: State-of-the-art Natural Language Processing.” ArXiv abs/1910.03771 (2019).

模型架构和模型预训练的发展推动了自然语言处理的进步。Transformer架构有助于构建更高承载能力的模型，而预训练使其能够有效地将这种能力用于各种任务。HuggingFace's Transformers是一个开源库。该库是由社区制作并可供社区使用的预训练模型的集合。HuggingFace's Transformers具有简单、稳健、可扩展、可快速部署等特性。https://github.com/huggingface/transformers

图1. 2019年10月至2020年5月，下载次数最多的预训练模型的日均下载量。

图2. HuggingFace's Transformers库。(右)每个模型都由Tokenizer、Transformer和Head组成。(下)每个模型都使用一个特定的Tokenizer，要么在Python中实现，要么在Rust中实现。(左)专门用于不同任务的Transformer架构。(上)头部允许Transformer用于不同的任务。

图3. HuggingFace's Transformers模型Hub。(左)SciBERT的模型页面和模型卡片示例。(右)用于生成摘要的BART模型的自动推理小部件。用户可以输入任意文本，模型的完整版本将被动态部署以生成摘要。

图4. 与ONNX联合进行的Transformers推理实验。 

Conclusion

由于Transformer和预训练在NLP中扮演着重要角色，因此让研究人员和最终用户能够访问这些模型是非常重要的。HuggingFace's Transformers是一个开源库和社区，旨在帮助用户访问大型预训练模型，在其上进行构建和实验，并以SOTA性能将其部署到下游任务中。HuggingFace's Transformers将继续提供核心基础设施，同时促进对新模型的使用。

关注“多模态人工智能”公众号，一起进步！