Curated Transformers: 可组合的最先进Transformer模型库

Curated Transformers: 构建最先进的Transformer模型

Curated Transformers是一个为PyTorch提供最先进Transformer模型的开源库。它由Explosion公司开发,旨在提供一套可组合、可重用的Transformer模型组件,使研究人员和开发者能够轻松构建和定制各种Transformer架构。

主要特性

Curated Transformers具有以下几个突出特点:

1. 支持多种先进模型: 该库支持包括BERT、RoBERTa、ALBERT、XLM-RoBERTa等编码器模型,以及Falcon、GPT-NeoX、Llama等解码器模型。它还提供了Dolly v2等生成器包装器。

2. 模块化设计: 每个模型都由一系列可重用的构建块组成。这种设计带来了多方面的好处:

   • 实现新功能或修复bug时可以惠及所有模型
   • 添加新模型到库中变得简单高效
   • 可以轻松尝试新的Transformer架构,如带旋转位置编码的BERT编码器

3. 类型注解: 所有公共API都有一致的类型注解,可以获得IDE的良好编码支持,并与现有的类型检查代码很好地集成。

4. 教育价值: 由于构建块易于学习和理解,该库非常适合教育目的。

5. 依赖最小化: 该库尽量减少了外部依赖,使其更加轻量和易于集成。

支持的模型架构

Curated Transformers支持多种流行的Transformer模型架构:

编码器模型:

• ALBERT
• BERT
• CamemBERT
• RoBERTa
• XLM-RoBERTa

解码器模型:

• Falcon
• GPT-NeoX
• Llama 1/2
• MPT

生成器包装器:

• Dolly v2
• Falcon
• Llama 1/2
• MPT

所有类型的模型都可以从Hugging Face Hub加载。

安装

可以通过pip轻松安装Curated Transformers:

pip install curated-transformers

对于需要CUDA支持的用户,可以按照以下方式安装带CUDA 11.8支持的PyTorch:

pip install torch --index-url https://download.pytorch.org/whl/cu118

使用示例

以下是一个简单的使用示例,展示了如何使用Curated Transformers加载预训练模型并进行文本生成:

import torch
from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig

generator = AutoGenerator.from_hf_hub(name="tiiuae/falcon-7b-instruct", device=torch.device("cuda"))
prompts = ["What is Python in one sentence?", "What is Rust in one sentence?"]
responses = generator(prompts, GreedyGeneratorConfig())

for prompt, response in zip(prompts, responses):
    print(f"Prompt: {prompt}")
    print(f"Response: {response}\n")

这个示例展示了如何加载Falcon-7B-Instruct模型并使用贪婪解码生成回答。

量化支持

Curated Transformers支持通过bitsandbytes库进行动态8位和4位量化。要使用量化功能,可以安装带量化支持的版本:

pip install curated-transformers[quantization]

与spaCy集成

Curated Transformers可以通过spacy-curated-transformers包与spaCy无缝集成。这使得在spaCy管道中使用Curated Transformers模型变得非常简单。

文档

如需更详细的使用说明和API参考,可以查阅Curated Transformers的官方文档:

• 概述
• 使用指南
• API参考

结语

Curated Transformers为研究人员和开发者提供了一个强大而灵活的工具,用于构建和定制最先进的Transformer模型。通过其模块化设计、广泛的模型支持和易用的API,它为自然语言处理领域的创新和实验提供了坚实的基础。无论您是想要在生产环境中部署高性能模型,还是在研究中探索新的架构,Curated Transformers都是一个值得考虑的选择。

文章链接：www.dongaigc.com/a/curated-transformers-advanced-models
https://www.dongaigc.com/a/curated-transformers-advanced-models

https://www.dongaigc.com/p/explosion/curated-transformers

www.dongaigc.com/p/explosion/curated-transformers