昇思25天学习打卡营第22天|基于MindSpore通过GPT实现情感分类

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、情感分类是什么？

情感分类通常是指在自然语言处理（NLP）领域中的一个任务，其目标是识别和分类文本中的情感或情绪。具体来说，情感分类的问题通常包括以下几个方面：

• 情感识别：确定文本中表达的情感是正面、负面还是中性的。这可以帮助理解文本作者的态度或情感倾向。
• 多类情感分类：将文本分类为多种情感类别，例如喜悦、悲伤、愤怒、惊讶等。这种分类可以更详细地了解文本中不同情感的表达。
• 情感强度分析：不仅确定情感类别，还可以分析情感的强度或程度。例如，一个评论可能包含负面情绪，但强度可能不同。

情感分类在实际中有许多应用，包括社交媒体分析、消费者评论分析、情感驱动的广告定位等。通过自然语言处理技术，可以帮助计算机理解和处理人类语言中的情感信息，这对于很多应用都是非常有价值的。

二、具体代码

导入数据

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

# 该案例在 mindnlp 0.3.1 版本完成适配，如果发现案例跑不通，可以指定mindnlp版本，执行`!pip install mindnlp==0.3.1`
!pip install mindnlp
!pip install jieba
%env HF_ENDPOINT=https://hf-mirror.com

import os

import mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn

from mindnlp.dataset import load_dataset

from mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy

加载imdb数据集。

imdb_ds = load_dataset('imdb', split=['train', 'test'])
imdb_train = imdb_ds['train']
imdb_test = imdb_ds['test']

测试数据集是否下载成功。

imdb_train.get_dataset_size()

输出为：

25000

接下来处理数据集。

import numpy as np

def process_dataset(dataset, tokenizer, max_seq_len=512, batch_size=4, shuffle=False):
    is_ascend = mindspore.get_context('device_target') == 'Ascend'
    
    # 定义一个内部函数，用于对文本进行分词和编码
    def tokenize(text):
        if is_ascend:
            # 如果是 Ascend 设备，使用 padding='max_length' 进行填充
            tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
        else:
            # 否则，仅进行截断处理
            tokenized = tokenizer(text, truncation=True, max_length=max_seq_len)
        # 返回分词后的结果，包括输入的编码和注意力掩码
        return tokenized['input_ids'], tokenized['attention_mask']

    # 如果需要打乱数据集，则进行打乱操作
    if shuffle:
        dataset = dataset.shuffle(batch_size)

    # 使用 map 操作对数据集中的每个样本进行分词和编码
    dataset = dataset.map(operations=[tokenize], input_columns="text", output_columns=['input_ids', 'attention_mask'])
    
    # 对标签列进行类型转换，转换为整数类型
    dataset = dataset.map(operations=transforms.TypeCast(mindspore.int32), input_columns="label", output_columns="labels")
    
    # 如果是 Ascend 设备，使用 batch 方法进行批处理
    if is_ascend:
        dataset = dataset.batch(batch_size)
    else:
        # 否则，在 CPU/GPU 上使用 padded_batch 方法进行填充批处理
        dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
                                                             'attention_mask': (None, 0)})

    # 返回处理后的数据集
    return dataset

from mindnlp.transformers import GPTTokenizer
# tokenizer
gpt_tokenizer = GPTTokenizer.from_pretrained('openai-gpt')

# add sepcial token: <PAD>
special_tokens_dict = {
    "bos_token": "<bos>",
    "eos_token": "<eos>",
    "pad_token": "<pad>",
}
num_added_toks = gpt_tokenizer.add_special_tokens(special_tokens_dict)

结果为：

按比例划分数据集。

# split train dataset into train and valid datasets
imdb_train, imdb_val = imdb_train.split([0.7, 0.3])

dataset_train = process_dataset(imdb_train, gpt_tokenizer, shuffle=True)
dataset_val = process_dataset(imdb_val, gpt_tokenizer)
dataset_test = process_dataset(imdb_test, gpt_tokenizer)

next(dataset_train.create_tuple_iterator())

输出为：

模型训练

from mindnlp.transformers import GPTForSequenceClassification  # 导入 MindNLP 中的 GPT 序列分类模型
from mindspore.experimental.optim import Adam  # 导入 MindSpore 中的 Adam 优化器

# 设置并加载预训练的 GPT 模型用于序列分类任务
model = GPTForSequenceClassification.from_pretrained('openai-gpt', num_labels=2)
model.config.pad_token_id = gpt_tokenizer.pad_token_id  # 设置填充标记的 ID
model.resize_token_embeddings(model.config.vocab_size + 3)  # 调整 token embeddings 大小，包括额外的特殊标记

# 初始化 Adam 优化器，使用模型的可训练参数和指定的学习率
optimizer = nn.Adam(model.trainable_params(), learning_rate=2e-5)

# 设置用于评估模型性能的指标（这里假设使用准确率作为指标）
metric = Accuracy()

# 定义保存检查点的回调函数
ckpoint_cb = CheckpointCallback(save_path='checkpoint', ckpt_name='gpt_imdb_finetune', epochs=1, keep_checkpoint_max=2)
# 定义保存最佳模型的回调函数，自动加载最佳模型以继续训练或评估
best_model_cb = BestModelCallback(save_path='checkpoint', ckpt_name='gpt_imdb_finetune_best', auto_load=True)

# 设置 Trainer 对象，管理训练过程
trainer = Trainer(network=model,  # 指定训练的网络模型
                  train_dataset=dataset_train,  # 训练数据集
                  eval_dataset=dataset_train,  # 评估数据集（这里用训练集进行简单示例）
                  metrics=metric,  # 指定评估指标
                  epochs=1,  # 训练轮数为 1 轮
                  optimizer=optimizer,  # 指定优化器
                  callbacks=[ckpoint_cb, best_model_cb],  # 添加回调函数列表
                  jit=False)  # 关闭即时编译以避免潜在的编译问题

trainer.run(tgt_columns="labels")

evaluator = Evaluator(network=model, eval_dataset=dataset_test, metrics=metric)
evaluator.run(tgt_columns="labels")

最后的结果为：

---

总结

今天学习了如何通过GPT实现情感分类的相关知识。GPT模型（Generative Pre-trained Transformer模型）是一种基于Transformer架构的深度学习模型，由OpenAI开发。它在自然语言处理（NLP）领域取得了显著的成就。GPT模型利用了大规模无监督的预训练来学习语言表示，然后可以通过微调适应特定的监督式任务。总之，通过学习如何利用GPT进行情感分类，我不仅初步了解了一种强大的模型，还深入了解了如何应用该模型解决实际的问题。