BERT-IMDB电影评论情感分类实战（完整代码、数据集、实验过程）

最新推荐文章于 2024-09-20 20:56:42 发布
最新推荐文章于 2024-09-20 20:56:42 发布
阅读量4.5k 收藏 61
点赞数 49
文章标签： 分类 人工智能 数据可视化 python 深度学习 bert 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SoulmateY/article/details/139238020
版权

基于BERT模型的IMDB电影评论情感分类，是NLP经典的Hello World任务之一。

这篇文章我将带大家使用SwanLab、transformers、datasets三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。

观察了一下，中文互联网上似乎很少有能直接跑起来的BERT训练代码和教程，所以也希望这篇文章可以帮到大家。
在这里插入图片描述

1.环境安装

我们需要安装以下这4个Python库：

transformers>=4.41.0
datasets>=2.19.1
swanlab>=0.3.3

一键安装命令：

pip install transformers datasets swanlab

他们的作用分别是：

  1. transformers：HuggingFace出品的深度学习框架，已经成为了NLP（自然语言处理）领域最流行的训练与推理框架。代码中用transformers主要用于加载模型、训练以及推理。
  2. datasets：同样是HuggingFace出品的数据集工具，可以下载来自huggingface社区上的数据集。代码中用datasets主要用于下载、加载数据集。
  3. swanlab：在线训练可视化和超参数记录工具，官网，可以记录整个实验的超参数、指标、训练环境、Python版本等，并可是化成图表，帮助你分析训练的表现。代码中用swanlab主要用于记录指标和可视化。

本文的代码测试于transformers4.41.0、datasets2.19.1、swanlab==0.3.3，更多库版本可查看SwanLab记录的Python环境。

2.加载BERT模型

BERT模型我们直接下载来自HuggingFace上由Google发布的bert-case-uncased预训练模型。

执行下面的代码，会自动下载模型权重并加载模型：

from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments

# 加载预训练的BERT tokenizer
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

如果国内下载比较慢的话，可以在这个百度云（提取码: u9gi）下载后，把bert-base-uncased文件夹放到根目录，然后改写上面的代码为：

model = AutoModelForSequenceClassification.from_pretrained('./bert-base-uncased', num_labels=2)

3.加载IMDB数据集

IMDB数据集（Internet Movie Database Dataset）是自然语言处理（NLP）领域中一个非常著名和广泛使用的数据集，主要应用于文本情感分析任务。

IMDB数据集源自全球最大的电影数据库网站Internet Movie Database（IMDb），该网站包含了大量的电影、电视节目、纪录片等影视作品信息，以及用户对这些作品的评论和评分。
数据集包括50,000条英文电影评论，这些评论被标记为正面或负面情感，用以进行二分类任务。其中，25,000条评论被分配为训练集，另外25,000条则作为测试集。训练集和测试集都保持了平衡的正负样本比例，即各含50%的正面评论和50%的负面评论.

在这里插入图片描述
我们同样直接下载HuggingFace上的imdb数据集，执行下面的代码，会自动下载数据集并加载：

from datasets import load_dataset

# 加载IMDB数据集
dataset = load_dataset('imdb')

如果国内下载比较慢的话，可以在这个百度云（提取码: u9gi）下载后，把imdb文件夹放到根目录，然后改写上面的代码为：

dataset = load_dataset('./imdb')

4.集成SwanLab

因为swanlab已经和transformers框架做了集成，所以将SwanLabCallback类传入到trainer的callbacks参数中即可实现实验跟踪和可视化：

from swanlab.integration.huggingface import SwanLabCallback

# 设置swanlab回调函数
swanlab_callback = SwanLabCallback()

...

# 定义Transformers Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets['train'],
    eval_dataset=tokenized_datasets['test'],
    # 传入swanlab回调函数
    callbacks=[swanlab_callback],
)

想了解更多关于SwanLab的知识，请看SwanLab官方文档。

5.开始训练！

训练过程看这里：BERT-SwanLab。

在首次使用SwanLab时，需要去官网注册一下账号，然后在用户设置复制一下你的API Key。

在这里插入图片描述
然后在终端输入swanlab login:

swanlab login

把API Key粘贴进去即可完成登录，之后就不需要再次登录了。

完整的训练代码：

"""
用预训练的Bert模型微调IMDB数据集，并使用SwanLabCallback回调函数将结果上传到SwanLab。
IMDB数据集的1是positive，0是negative。
"""

import torch
from datasets import load_dataset
from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments
from swanlab.integration.huggingface import SwanLabCallback
import swanlab

def predict(text, model, tokenizer, CLASS_NAME):
    inputs = tokenizer(text, return_tensors="pt")

    with torch.no_grad():
        outputs = model(**inputs)
        logits = outputs.logits
        predicted_class = torch.argmax(logits).item()

    print(f"Input Text: {text}")
    print(f"Predicted class: {int(predicted_class)} {CLASS_NAME[int(predicted_class)]}")
    return int(predicted_class)

# 加载IMDB数据集
dataset = load_dataset('imdb')

# 加载预训练的BERT tokenizer
tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')

# 定义tokenize函数
def tokenize(batch):
    return tokenizer(batch['text'], padding=True, truncation=True)

# 对数据集进行tokenization
tokenized_datasets = dataset.map(tokenize, batched=True)

# 设置模型输入格式
tokenized_datasets = tokenized_datasets.rename_column("label", "labels")
tokenized_datasets.set_format('torch', columns=['input_ids', 'attention_mask', 'labels'])

# 加载预训练的BERT模型
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 设置训练参数
training_args = TrainingArguments(
    output_dir='./results',
    eval_strategy='epoch',
    save_strategy='epoch',
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    logging_first_step=100,
    # 总的训练轮数
    num_train_epochs=3,
    weight_decay=0.01,
    report_to="none",
    # 单卡训练
)

CLASS_NAME = {0: "negative", 1: "positive"}

# 设置swanlab回调函数
swanlab_callback = SwanLabCallback(project='BERT',
                                   experiment_name='BERT-IMDB',
                                   config={'dataset': 'IMDB', "CLASS_NAME": CLASS_NAME})

# 定义Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=tokenized_datasets['train'],
    eval_dataset=tokenized_datasets['test'],
    callbacks=[swanlab_callback],
)

# 训练模型
trainer.train()

# 保存模型
model.save_pretrained('./sentiment_model')
tokenizer.save_pretrained('./sentiment_model')

# 测试模型
test_reviews = [
    "I absolutely loved this movie! The storyline was captivating and the acting was top-notch. A must-watch for everyone.",
    "This movie was a complete waste of time. The plot was predictable and the characters were poorly developed.",
    "An excellent film with a heartwarming story. The performances were outstanding, especially the lead actor.",
    "I found the movie to be quite boring. It dragged on and didn't really go anywhere. Not recommended.",
    "A masterpiece! The director did an amazing job bringing this story to life. The visuals were stunning.",
    "Terrible movie. The script was awful and the acting was even worse. I can't believe I sat through the whole thing.",
    "A delightful film with a perfect mix of humor and drama. The cast was great and the dialogue was witty.",
    "I was very disappointed with this movie. It had so much potential, but it just fell flat. The ending was particularly bad.",
    "One of the best movies I've seen this year. The story was original and the performances were incredibly moving.",
    "I didn't enjoy this movie at all. It was confusing and the pacing was off. Definitely not worth watching."
]

model.to('cpu')
text_list = []
for review in test_reviews:
    label = predict(review, model, tokenizer, CLASS_NAME)
    text_list.append(swanlab.Text(review, caption=f"{label}-{CLASS_NAME[label]}"))

if text_list:
    swanlab.log({"predict": text_list})

swanlab.finish()

训练可视化过程：
在这里插入图片描述

训练大概需要6G左右的显存，我在一块3090上跑了，1个epoch大概要12～13分钟时间。

训练的推理结果：

在这里插入图片描述
这里我生成了10个比较简单的测试文本，微调后的BERT模型基本都能答对。

至此，我们顺利完成了用BERT预训练模型微调IMDB数据的训练过程～

相关链接

林泽毅
关注
基于 BERT 对 IMDB 电影评论进行情感分类
时序笔记
05-25 465
BERT 是 Bidirectional Representation for Transformers 的缩写，由谷歌人工智能语言研究人员于 2018 年提出。虽然其主要目的是提高对谷歌搜索相关查询含义的理解，但 BERT 已成为各种自然语言任务中最重要、最完整的架构之一，在句子对分类任务、问答任务等方面取得了最先进的成果。
python使用PyTorch和transformers大数据库构建的BERT模型进行情感分析案例代码（5500字附步骤.txt
09-01
一个使用 PyTorch 和 transformers 库构建的 BERT 模型进行情感分析的案例。 这个案例使用预训练的 BERT 模型，并在 IMDB 数据集上进行了情感分析。注意，这个模型的参数量较大，因此训练和测试可能需要更强大的硬件。 这个案例使用预训练的 BERT 模型，并在 IMDB 数据集上进行了情感分析。注意，这个模型的参数量较大，因此训练和测试可能需要更强大的硬件。 这个案例中，采用了多种深度学习模型，如多层感知器（MLP）、递归神经网络（RNN）、长短期记忆网络（LSTM）和卷积神经网络（CNN）等，来对 IMDB 数据集进行情感分析。这些模型在处理文本数据时各有特点，如 RNN 能捕捉序列中的上下文关系，LSTM 在处理长序列时具有记忆能力，而 CNN 则擅长提取局部特征。通过对比这些不同模型的性能，研究人员可以了解各种模型在情感分析任务中的优缺点，并选择合适的模型进行实际应用。
BERT实战——使用IMDB影评数据集实现电影评论情感分类
qq_46634315的博客
07-30 4753
之前学习了如何使用BERT实现文本分类，本次想融会贯通一下实现电影评论情感分类任务。完成之后感觉对整个过程有了更深的认识。 本次相较于之前，主要工作是，a）对于新的任务，对原始数据进行预处理，以期满足特定任务；b）编写应用程序，对用户在控制台的输入电影评论进行情感判断。 最终，由于训练时间太长了，就训练了一个epoch，在测试集上的测试精度为86.64%，在实际应用中可以较好地对电影评论情感进行分类。
IMDB影评数据集下载指南：情感分析的利器
最新发布
gitblog_06581的博客
09-20 626
IMDB影评数据集下载指南：情感分析的利器 IMDB影评数据集无法通过keras下载 项目地址: https://gitcode.com/Resource-Bundle-Collection/3c4d4 ...
imdb自然语言处理bert预训练数据
01-27
imdb自然语言处理bert预训练数据
【Keras-RNN】IMDb
bryant_meng
04-15 2983
文章目录1 下载数据集2 数据预处理3 建立模型4 训练模型5 评估模型的准确率6 预测概率和预测结果7 查看测试集中的文本和其预测结果8 测试新的影评9 保存模型 MLP或者CNN都只能依照当前的状态进行识别，如果处理时间序列的问题，就需要RNN、LSTM模型了。本博客使用 RNN 对 IMDb 数据集进行分析预测，用MLP进行预测可以参考这篇博客 【Keras-MLP】IMDb RNN结构...
IMDB电影评论数据集-数据集
03-12
IMDB电影评论 imdb.csv
SwanLab入门深度学习：BERT IMDB文本情感分类
SoulmateY的博客
05-23 1218
基于BERT模型的IMDB电影评论情感分类，是NLP经典的Hello World任务之一。这篇文章我将带大家使用SwanLab、transformers、datasets三个开源工具，完成从数据集准备、代码编写、可视化训练的全过程。观察了一下，中文互联网上似乎很少有能直接跑起来的BERT训练代码和教程，所以也希望这篇文章可以帮到大家。
imdb电影评价数据集
12-17
imdb电影评价数据集 imdb电影评价数据集 imdb电影评价数据集 使用Demo参考《Python深度学习》
IMDB影评数据集
02-20
IMDB电影数据集train含有25000个电影评论，分为正反两类。数据与标签进行了处理保存到了一个CSV文件中,影评数据datas["x"]，标签为datas["y"]。
imdb电影情感分类数据集
03-26
keras下载速度慢或者下载不下来时，可将数据集放入.keras/datasets下即可（一般在用户目录下）
IMDB电影评分正负数据集（3个版本的imdb_full.pkl,imdb.pkl以及imdb.npz）
01-19
IMDB电影评分正负数据集（3个版本的imdb_full.pkl,imdb.pkl以及imdb.npz），用于跑tensorflow的文本分类例程
电影评论数据-数据集
03-25
aclImdb_v1.tar.gz(imdb电影评价数据集)
08-09
为方便各位同学下载以及利用imdb电影评价数据集进行深度学习，上传的一份资源文件，下载后请看ReadMe.txt.对应代码请访问我的Github：https://github.com/JackDemo
IMDB 电影评论数据集.rar压缩包下载.txt
01-24
机器学习常用数据集
BERT 原理与代码实战案例讲解
AI天才研究院
06-01 1223
BERT 原理与代码实战案例讲解 1.背景介绍 自然语言处理(NLP)是人工智能领域的一个重要分支,旨在使计算机能够理解和处理人类语言。传统的NLP方法主要基于规则和统计模型,但随着深度学习的发展,基于神经网络的方法逐渐占据主导地位。 2018年,谷歌推出了BERT(Bidir
从零开始大模型开发与微调：BERT实战文本分类
AI天才研究院
06-15 358
1. 背景介绍 随着人工智能的发展，自然语言处理技术也取得了显著的进步。文本分类是自然语言处理中的一个重要任务，它可以将文本数据分为不同的类别，例如新闻、博客、小说等。在实际应用中，文本分类可以用于垃圾邮件过滤、情感分析、新闻分类等。传统的文本分类方法通常基于手工特征工程和机器学习算法，然而，这些方法存在一些局限性，例如对文本数据的预处理要求高、特征
BERT Fine-Tuning实战：定制情感分析模型
Fine-Tuning技术则是指在特定任务上微调预训练模型以适应新的数据和要求。在本章节中，我们将详细介绍BERT模型、Fine-Tuning技术在自然语言处理中的应用以及目前BERT Fine-Tuning的研究现状。 # 2. 情感分析简介与...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值