分享一些使用预训练模型进行迁移学习的具体案例

于 2025-02-28 14:51:20 发布
阅读量621 收藏 16
点赞数 23
文章标签： 迁移学习 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44233281/article/details/145928911
版权

迁移学习是指将在一个任务上训练好的模型应用到另一个相关任务上，预训练模型则是迁移学习中的重要工具。以下为你介绍不同领域使用预训练模型进行迁移学习的具体案例。

计算机视觉领域

1. 图像分类：花卉品种识别

  • 预训练模型：选用在 ImageNet 数据集上预训练的 ResNet-50 模型。ImageNet 是一个大规模的图像数据集，包含超过 1400 万张图像，涵盖了 2 万多个类别，ResNet-50 在该数据集上学习到了丰富的图像特征。
  • 目标任务：识别不同品种的花卉，数据集包含玫瑰、郁金香、百合等 10 种花卉的图像。
  • 迁移学习步骤
    • 冻结部分层：冻结 ResNet-50 模型的大部分卷积层，只保留最后几层全连接层可训练。因为预训练模型的卷积层已经学习到了通用的图像特征，如边缘、纹理等，在新任务中可以直接使用。
    • 修改输出层：将原模型的输出层替换为一个新的全连接层，输出维度为 10，对应 10 种花卉类别。
    • 训练模型：使用花卉数据集对新的全连接层进行训练，同时微调部分卷积层以适应新任务。
  • 代码示例（使用 PyTorch）

收起

python

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import models, datasets, transforms

# 加载预训练的 ResNet-50 模型
model = models.resnet50(pretrained=True)

# 冻结模型的大部分层
for param in model.parameters():
    param.requires_grad = False

# 修改输出层
num_ftrs = model.fc.in_features
model.fc = nn.Linear(num_ftrs, 10)

# 数据预处理
transform = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

# 加载花卉数据集
train_dataset = datasets.ImageFolder('path/to/train_data', transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=32, shuffle=True)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.fc.parameters(), lr=0.001, momentum=0.9)

# 训练模型
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

for epoch in range(10):
    running_loss = 0.0
    for i, data in enumerate(train_loader, 0):
        inputs, labels = data[0].to(device), data[1].to(device)
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
    print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_loader)}')
2. 目标检测：交通标志检测

  • 预训练模型：使用在 COCO 数据集上预训练的 Faster R-CNN 模型。COCO 数据集包含大量的图像和丰富的目标检测标注，Faster R-CNN 是一种经典的目标检测模型。
  • 目标任务：检测道路上的各种交通标志，如限速标志、停车标志等。
  • 迁移学习步骤
    • 微调模型：在预训练的 Faster R-CNN 模型基础上，使用交通标志数据集进行微调。可以调整模型的一些超参数，如学习率、批量大小等。
    • 数据增强：对交通标志数据集进行数据增强，如随机翻转、旋转、缩放等，以增加数据的多样性，提高模型的泛化能力。
  • 代码示例（使用 TensorFlow 和 TensorFlow Object Detection API）

收起

python

import tensorflow as tf
from object_detection.utils import config_util
from object_detection.builders import model_builder

# 加载预训练模型的配置文件
configs = config_util.get_configs_from_pipeline_file('path/to/pipeline.config')
model_config = configs['model']
detection_model = model_builder.build(model_config=model_config, is_training=True)

# 加载预训练模型的权重
ckpt = tf.compat.v2.train.Checkpoint(model=detection_model)
ckpt.restore('path/to/checkpoint').expect_partial()

# 定义训练步骤和优化器
# 数据加载和训练循环等代码

自然语言处理领域

1. 文本分类：新闻分类

  • 预训练模型：选用在大规模文本数据上预训练的 BERT 模型。BERT 是一种基于 Transformer 架构的预训练语言模型，能够学习到丰富的语言语义信息。
  • 目标任务：将新闻文章分类为政治、经济、体育、娱乐等类别。
  • 迁移学习步骤
    • 加载预训练模型：使用 Hugging Face 的 Transformers 库加载预训练的 BERT 模型。
    • 添加分类层：在 BERT 模型的输出之上添加一个全连接层作为分类器。
    • 微调模型：使用新闻数据集对整个模型进行微调，包括 BERT 模型和分类器。
  • 代码示例（使用 Hugging Face 的 Transformers 库）

收起

python

import torch
from transformers import BertTokenizer, BertForSequenceClassification
from torch.utils.data import DataLoader, Dataset

# 加载预训练的 BERT 模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=4)

# 自定义数据集类
class NewsDataset(Dataset):
    def __init__(self, texts, labels):
        self.texts = texts
        self.labels = labels

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        text = self.texts[idx]
        label = self.labels[idx]
        encoding = tokenizer(text, return_tensors='pt', padding='max_length', truncation=True, max_length=128)
        return {
            'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'labels': torch.tensor(label, dtype=torch.long)
        }

# 假设 texts 和 labels 是新闻文本和对应的标签
train_dataset = NewsDataset(texts, labels)
train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True)

# 定义优化器和损失函数
optimizer = torch.optim.Adam(model.parameters(), lr=2e-5)
criterion = torch.nn.CrossEntropyLoss()

# 训练模型
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

for epoch in range(3):
    model.train()
    running_loss = 0.0
    for batch in train_loader:
        input_ids = batch['input_ids'].to(device)
        attention_mask = batch['attention_mask'].to(device)
        labels = batch['labels'].to(device)

        optimizer.zero_grad()
        outputs = model(input_ids, attention_mask=attention_mask, labels=labels)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
    print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_loader)}')
2. 情感分析：电影评论情感分析

  • 预训练模型：使用 GPT（Generative Pretrained Transformer）系列模型的变体，如 DistilGPT2。DistilGPT2 是 GPT-2 的轻量级版本，在保持一定性能的同时，减少了模型的参数数量和计算量。
  • 目标任务：判断电影评论的情感倾向，是积极、消极还是中性。
  • 迁移学习步骤
    • 数据预处理：对电影评论数据进行清洗和分词，将文本转换为模型可以接受的输入格式。
    • 微调模型：在预训练的 DistilGPT2 模型基础上，添加一个分类头，使用电影评论数据集进行微调。
  • 代码示例（使用 Hugging Face 的 Transformers 库）

收起

python

import torch
from transformers import DistilGPT2Tokenizer, DistilGPT2ForSequenceClassification
from torch.utils.data import DataLoader, Dataset

# 加载预训练的 DistilGPT2 模型和分词器
tokenizer = DistilGPT2Tokenizer.from_pretrained('distilgpt2')
model = DistilGPT2ForSequenceClassification.from_pretrained('distilgpt2', num_labels=3)

# 自定义数据集类
class MovieReviewDataset(Dataset):
    def __init__(self, texts, labels):
        self.texts = texts
        self.labels = labels

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        text = self.texts[idx]
        label = self.labels[idx]
        encoding = tokenizer(text, return_tensors='pt', padding='max_length', truncation=True, max_length=128)
        return {
            'input_ids': encoding['input_ids'].flatten(),
            'attention_mask': encoding['attention_mask'].flatten(),
            'labels': torch.tensor(label, dtype=torch.long)
        }

# 假设 texts 和 labels 是电影评论和对应的情感标签
train_dataset = MovieReviewDataset(texts, labels)
train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True)

# 定义优化器和损失函数
optimizer = torch.optim.Adam(model.parameters(), lr=2e-5)
criterion = torch.nn.CrossEntropyLoss()

# 训练模型
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

for epoch in range(3):
    model.train()
    running_loss = 0.0
    for batch in train_loader:
        input_ids = batch['input_ids'].to(device)
        attention_mask = batch['attention_mask'].to(device)
        labels = batch['labels'].to(device)

        optimizer.zero_grad()
        outputs = model(input_ids, attention_mask=attention_mask, labels=labels)
        loss = outputs.loss
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
    print(f'Epoch {epoch + 1}, Loss: {running_loss / len(train_loader)}')
qq_44233281
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值