26备战秋招day10——基于MRPC的bert文本匹配

---

基于 BERT 的文本匹配实践

文本匹配是自然语言处理（NLP）领域中的核心任务，应用广泛，如句子相似度判断、问答系统中的问题与答案匹配等。随着预训练模型（如 BERT）的出现，文本匹配任务的精度得到了显著提升。

本文将带大家使用 BERT（Bidirectional Encoder Representations from Transformers）实现一个基于句子匹配的实践，并展示如何评估模型的性能。

---

一、数据集介绍：GLUE MRPC

在这篇博客中，我们使用的是来自 GLUE 基准中的 MRPC（Microsoft Research Paraphrase Corpus）数据集。MRPC 是一个句子对分类任务，要求模型判断两句话是否是具有相同含义的同义句（paraphrase）。

• 数据集来源：GLUE（General Language Understanding Evaluation）基准数据集中的一个子任务。
• 任务描述：每个样本由两个句子组成，模型需要判断它们是否具有相似含义，属于二分类问题（0 表示不同义，1 表示同义）。
• 数据集规模：
  • 训练集：3,668 个样本
  • 验证集：408 个样本

---

二、BERT 模型介绍

BERT（Bidirectional Encoder Representations from Transformers）是由 Google 提出的双向 Transformer 模型，具有强大的上下文理解能力。BERT 的一个关键创新是其双向性，即在处理每个词时，同时考虑其左右两边的上下文，这使得 BERT 能够更好地捕捉语言中的复杂语义关系。

BERT 的关键特性：

1. 双向 Transformer：BERT 是基于 Transformer 架构的模型，通过自注意力机制来学习句子中每个单词的上下文信息。
2. 预训练任务：
   • Masked Language Model (MLM)：在输入序列中随机遮蔽一些单词，模型需要预测这些被遮蔽的单词。
   • Next Sentence Prediction (NSP)：给定两个句子，模型需要判断第二个句子是否为第一个句子的续句。
3. 微调：BERT 可以通过微调来适应具体的下游任务，例如文本分类、情感分析、句子相似度判断等。

在本实践中，我们将使用 BERT 进行句子匹配任务，判断两个句子是否具有相同的含义。

---

三、评价指标介绍

在二分类任务中，我们常用以下评价指标来评估模型的性能：

1. 准确率 (Accuracy)：预测正确的样本占总样本数的比例，反映了模型整体的预测准确程度。
2. 精度 (Precision)：模型预测为正类的样本中，实际为正类的样本比例，衡量的是预测结果的准确性。
3. 召回率 (Recall)：实际为正类的样本中，被模型正确预测为正类的样本比例，衡量的是模型对正类的敏感度。
4. F1 分数 (F1 Score)：精度和召回率的调和平均，综合衡量模型的表现。

---

四、实践案例：基于 BERT 的文本匹配

1. 安装依赖

首先，我们需要安装 Hugging Face 的 transformers 和 datasets 库：

!pip install transformers datasets

2. 加载数据集

我们将从 Hugging Face 的 datasets 库中加载 GLUE 数据集的 MRPC 子集：

from datasets import load_dataset

# 加载 GLUE MRPC 数据集
dataset = load_dataset("glue", "mrpc")

3. 数据预处理

使用 BERT 的分词器将句子对编码为模型所需的 input_ids 和 attention_mask：

from transformers import BertTokenizer

# 加载 BERT 分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

# 定义分词函数
def tokenize_function(examples):
    return tokenizer(examples['sentence1'], examples['sentence2'], padding='max_length', truncation=True, max_length=128)

# 对数据集进行分词处理
tokenized_datasets = dataset.map(tokenize_function, batched=True)

# 删除不需要的列
tokenized_datasets = tokenized_datasets.remove_columns(["sentence1", "sentence2", "idx"])
tokenized_datasets.set_format(type='torch', columns=['input_ids', 'attention_mask', 'label'])

4. 加载预训练的 BERT 模型

加载预训练的 BertForSequenceClassification 模型，并进行微调：

from transformers import BertForSequenceClassification

# 加载 BERT 模型用于句子分类任务
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

5. 创建数据加载器

使用 PyTorch 的 DataLoader 来处理训练和验证集：

from torch.utils.data import DataLoader

train_dataset = tokenized_datasets['train']
eval_dataset = tokenized_datasets['validation']

train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True)
eval_loader = DataLoader(eval_dataset, batch_size=16)

6. 模型训练

定义优化器和训练过程：

import torch
from torch.optim import AdamW

# 设置设备（GPU 或 CPU）
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

# 定义优化器
optimizer = AdamW(model.parameters(), lr=2e-5)

# 训练函数
def train_model(model, train_loader, optimizer):
    model.train()
    total_loss = 0
    for batch in train_loader:
        input_ids = batch['input_ids'].to(device)
        attention_mask = batch['attention_mask'].to(device)
        labels = batch['label'].to(device)

        optimizer.zero_grad()

        outputs = model(input_ids=input_ids, attention_mask=attention_mask, labels=labels)
        loss = outputs.loss

        loss.backward()
        optimizer.step()

        total_loss += loss.item()

    return total_loss / len(train_loader)

# 训练模型
epochs = 3
for epoch in range(epochs):
    avg_train_loss = train_model(model, train_loader, optimizer)
    print(f'Epoch {epoch + 1}/{epochs}, Average Training Loss: {avg_train_loss:.4f}')

7. 评估模型

在验证集上评估模型，并打印第一个样本的预测结果：

from sklearn.metrics import accuracy_score, precision_recall_fscore_support

# 评估函数
def evaluate_model_with_print(model, eval_loader, raw_dataset):
    model.eval()
    preds, labels = [], []

    with torch.no_grad():
        for i, batch in enumerate(eval_loader):
            input_ids = batch['input_ids'].to(device)
            attention_mask = batch['attention_mask'].to(device)
            label_ids = batch['label'].to(device)

            outputs = model(input_ids=input_ids, attention_mask=attention_mask)
            logits = outputs.logits
            preds.append(torch.argmax(logits, dim=-1).cpu().numpy())
            labels.append(label_ids.cpu().numpy())

            if i == 0:
                prediction = torch.argmax(logits, dim=-1).cpu().numpy()[0]
                true_label = label_ids.cpu().numpy()[0]
                print(f"Sentence 1: {raw_dataset[i]['sentence1']}")
                print(f"Sentence 2: {raw_dataset[i]['sentence2']}")
                print(f"True label: {true_label}")
                print(f"Predicted label: {prediction}")

    preds = np.concatenate(preds)
    labels = np.concatenate(labels)

    accuracy = accuracy_score(labels, preds)
    precision, recall, f1, _ = precision_recall_fscore_support(labels, preds, average='binary')

    return accuracy, precision, recall, f1

# 运行评估
accuracy, precision, recall, f1 = evaluate_model_with_print(model, eval_loader, dataset['validation'])
print(f'Accuracy: {accuracy:.4f}, Precision: {precision:.4f}, Recall: {recall:.4f}, F1: {f1:.4f}')

8. 保存模型

训练完成后，将模型和分词器保存，以便后续使用：

# 保存模型和分词器
model.save_pretrained('bert-text-matching-model')
tokenizer.save_pretrained('bert-text-matching-model')

---

五、总结

本文介绍了如何使用 BERT 模型进行文本匹配任务的实践。通过 Hugging Face 的 datasets 和 transformers 库，加载 GLUE MRPC 数据集，并对 BERT 进行微调，最终通过准确率、精度、召回率和 F1 分数等指标评估模型性能。BERT 强大的双向 Transformer 架构使其能够有效捕捉上下文信息，极大提升了文本匹配任务的精度。

通过这个案例，你可以轻松应用 BERT 解决类似的文本匹配问题，如问答系统、相似句子匹配等。

如果你希望了解更多关于算法和力扣刷题的知识，欢迎关注微信公众号【算法最TOP】！