Simple Transformers 使用教程

Simple Transformers 使用教程

simpletransformersTransformers for Classification, NER, QA, Language Modelling, Language Generation, T5, Multi-Modal, and Conversational AI项目地址:https://gitcode.com/gh_mirrors/si/simpletransformers

项目介绍

Simple Transformers 是一个基于 HuggingFace Transformers 库的封装库，旨在简化 Transformer 模型的使用。该库提供了对多种自然语言处理（NLP）任务的内置支持，包括文本分类、标记分类、问答、语言建模、语言生成、多模态分类和对话系统等。通过 Simple Transformers，用户可以用极少的代码快速训练和评估模型。

项目快速启动

安装

首先，确保你已经安装了 Anaconda 或 Miniconda 包管理器。然后创建一个新的虚拟环境并安装所需的包：

conda create -n st python pandas tqdm
conda activate st

如果你使用 CUDA：

conda install pytorch>=1.6 cudatoolkit=11.0 -c pytorch

如果你不使用 CUDA：

conda install pytorch cpuonly -c pytorch

最后，安装 Simple Transformers：

pip install simpletransformers

快速示例

以下是一个简单的文本分类示例：

from simpletransformers.classification import ClassificationModel

# 初始化模型
model = ClassificationModel('roberta', 'roberta-base')

# 训练模型
train_args = {'num_train_epochs': 1}
model.train_model(train_data)

# 评估模型
result, model_outputs, wrong_predictions = model.eval_model(eval_data)

应用案例和最佳实践

文本分类

文本分类是 NLP 中最常见的任务之一。Simple Transformers 提供了对多种文本分类模型的支持，包括 BERT、RoBERTa、XLNet 等。以下是一个使用 RoBERTa 进行情感分析的示例：

from simpletransformers.classification import ClassificationModel

# 数据准备
train_data = [
    ["这是一个正面的评论", 1],
    ["这是一个负面的评论", 0]
]

eval_data = [
    ["这是一个中性的评论", 1],
    ["这是一个非常负面的评论", 0]
]

# 初始化模型
model = ClassificationModel('roberta', 'roberta-base')

# 训练模型
model.train_model(train_data)

# 评估模型
result, model_outputs, wrong_predictions = model.eval_model(eval_data)

问答系统

问答系统是另一个常见的 NLP 任务。Simple Transformers 支持多种问答模型，如 BERT、DistilBERT 等。以下是一个使用 DistilBERT 进行问答的示例：

from simpletransformers.question_answering import QuestionAnsweringModel

# 数据准备
train_data = [
    {
        "context": "Simple Transformers 是一个基于 HuggingFace Transformers 库的封装库。",
        "qas": [
            {
                "question": "Simple Transformers 是基于哪个库的？",
                "id": "1",
                "answers": [{"text": "HuggingFace Transformers", "answer_start": 24}]
            }
        ]
    }
]

# 初始化模型
model = QuestionAnsweringModel('distilbert', 'distilbert-base-uncased')

# 训练模型
model.train_model(train_data)

# 评估模型
result, model_outputs = model.eval_model(eval_data)

典型生态项目

HuggingFace Transformers

Simple Transformers 是基于 HuggingFace Transformers 库构建的。HuggingFace Transformers 是一个广泛使用的 NLP 库，提供了多种预训练模型和工具，支持多种 NLP 任务。

Weights & Biases

Weights & Biases 是一个用于跟踪和可视化训练过程的工具。Simple Transformers 支持与 Weights & Biases 集成，以便更好地监控和分析模型训练过程。

pip install wandb

在训练模型时，可以通过设置 wandb_project 参数来启用 Weights & Biases 跟踪：

train_args = {
    'num_train_epochs': 1,
    'wandb_project': 'my_project'
}
model.train_model(train_data, args=train_args)

通过以上步骤

simpletransformersTransformers for Classification, NER, QA, Language Modelling, Language Generation, T5, Multi-Modal, and Conversational AI项目地址:https://gitcode.com/gh_mirrors/si/simpletransformers