torchvision 教程

于 2024-09-18 21:47:51 发布
阅读量1k 收藏 21
点赞数 30
分类专栏： python库 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jixiaoyu0209/article/details/142344708
版权

PyTorch torchvision 教程

torchvision 是 PyTorch 的一个子库，专为计算机视觉任务设计，提供了常用的数据集、预训练模型、以及图像转换和处理的工具。本文将介绍如何使用 torchvision 中的功能来加载数据集、预处理数据、使用预训练模型以及进行图像增强。

1. 安装 torchvision

首先，你需要安装 torchvision 库。可以使用 pip 安装：

pip install torchvision

2. torchvision 的主要组件

torchvision 的主要组件有：

  • torchvision.datasets：提供常用的数据集，例如 MNIST、CIFAR-10、ImageNet 等。
  • torchvision.transforms：用于图像的预处理和数据增强。
  • torchvision.models：提供预训练的深度学习模型。
  • torchvision.io：用于读取和写入图像、视频等数据。

3. 使用 torchvision.datasets 加载数据集

torchvision 提供了许多流行的数据集，可以直接从 torchvision.datasets 中加载。你可以加载数据集，并使用 DataLoader 迭代数据。

3.1 加载 MNIST 数据集

MNIST 是一个包含手写数字的经典数据集，常用于图像分类任务。

import torch
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import DataLoader

# 定义数据转换 (如归一化)
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,))])

# 下载并加载 MNIST 数据集
train_dataset = torchvision.datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = torchvision.datasets.MNIST(root='./data', train=False, download=True, transform=transform)

# 使用 DataLoader 加载数据集
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)

# 打印样本
for images, labels in train_loader:
    print(f"Image batch shape: {images.size()}")
    print(f"Labels batch shape: {labels.size()}")
    break
3.2 加载 CIFAR-10 数据集

CIFAR-10 是另一个常用的数据集，包含 10 类自然图片。

# 加载 CIFAR-10 数据集
train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
test_dataset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)

# 使用 DataLoader
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

4. torchvision.transforms 图像预处理与增强

torchvision.transforms 提供了许多常用的图像预处理和增强方法，例如缩放、裁剪、旋转、翻转等。

4.1 基本预处理操作
transform = transforms.Compose([
    transforms.Resize((32, 32)),            # 调整图像大小
    transforms.RandomHorizontalFlip(),      # 随机水平翻转
    transforms.ToTensor(),                  # 转换为 PyTorch 张量
    transforms.Normalize((0.5,), (0.5,))    # 标准化
])

train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, transform=transform, download=True)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
4.2 常见的 transforms 操作
  • transforms.Resize(size)：调整图像大小为 size。
  • transforms.CenterCrop(size)：从图像中心裁剪大小为 size 的部分。
  • transforms.RandomCrop(size)：随机裁剪图像。
  • transforms.RandomHorizontalFlip()：随机水平翻转图像。
  • transforms.ColorJitter()：随机更改图像的亮度、对比度和饱和度。
  • transforms.ToTensor()：将 PIL 图像或 NumPy 数组转换为 PyTorch 张量。
  • transforms.Normalize(mean, std)：标准化图像数据。

5. 使用 torchvision.models 的预训练模型

torchvision.models 提供了多种预训练模型，例如 ResNet、VGG、AlexNet 等，这些模型在 ImageNet 数据集上进行了预训练。

5.1 加载预训练模型

你可以加载一个预训练的 ResNet 模型并在新任务上进行微调。

import torchvision.models as models

# 加载预训练的 ResNet18 模型
model = models.resnet18(pretrained=True)

# 查看模型架构
print(model)
5.2 微调预训练模型

如果你想要微调预训练模型（例如用于 CIFAR-10 数据集），你可以冻结预训练模型的部分参数，并修改最后一层以适应新的任务。

# 冻结所有层的参数
for param in model.parameters():
    param.requires_grad = False

# 修改最后一层以适应 CIFAR-10 (10 类分类任务)
model.fc = torch.nn.Linear(512, 10)

# 将模型移动到 GPU（如果有）
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device)

# 定义损失函数和优化器
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.fc.parameters(), lr=0.001, momentum=0.9)
5.3 训练模型
# 训练模型
for epoch in range(2):
    running_loss = 0.0
    for inputs, labels in train_loader:
        inputs, labels = inputs.to(device), labels.to(device)

        # 清零梯度
        optimizer.zero_grad()

        # 前向传播
        outputs = model(inputs)
        loss = criterion(outputs, labels)

        # 反向传播与优化
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
    print(f'Epoch {epoch+1}, Loss: {running_loss/len(train_loader)}')
5.4 测试模型
# 测试模型性能
correct = 0
total = 0
with torch.no_grad():
    for inputs, labels in test_loader:
        inputs, labels = inputs.to(device), labels.to(device)
        outputs = model(inputs)
        _, predicted = torch.max(outputs, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print(f'Accuracy: {100 * correct / total}%')

6. torchvision.io 读取和保存图像

torchvision.io 提供了方便的图像读取和保存功能。

6.1 读取图像
import torchvision.io as io

# 读取图像
img = io.read_image('image.jpg')  # 读取为张量

# 显示张量信息
print(img.size())
6.2 保存图像
# 保存张量为图像文件
io.write_jpeg(img, 'output_image.jpg')

7. 完整示例

以下是一个使用 torchvision 加载数据集、进行数据增强、使用预训练模型微调并进行训练的完整示例：

import torch
import torchvision
import torchvision.transforms as transforms
import torchvision.models as models
from torch.utils.data import DataLoader
import torch.nn as nn
import torch.optim as optim

# 数据增强与预处理
transform = transforms.Compose([
    transforms.RandomResizedCrop(224),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

# 加载 CIFAR-10 数据集
train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

test_dataset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)

# 加载预训练的 ResNet18 模型并修改最后一层
model = models.resnet18(pretrained=True)
for param in model.parameters():
    param.requires_grad = False
model.fc = nn.Linear(512, 10)

# 设备设置
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device)

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.fc.parameters(), lr=0.001, momentum=0.9)

# 训练模型
for epoch in range(2):
    running_loss = 0.0
    for inputs, labels in train_loader:
        inputs, labels = inputs.to(device), labels.to(device)
        optimizer.zero_grad()
        outputs

 = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
    print(f'Epoch {epoch+1}, Loss: {running_loss/len(train_loader)}')

# 测试模型
correct = 0
total = 0
with torch.no_grad():
    for inputs, labels in test_loader:
        inputs, labels = inputs.to(device), labels.to(device)
        outputs = model(inputs)
        _, predicted = torch.max(outputs, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

print(f'Accuracy: {100 * correct / total}%')

8. 总结

torchvision 是 PyTorch 中处理计算机视觉任务的重要工具，它为常用的数据集、模型、数据处理和增强提供了便利的接口。通过本教程，你可以学习如何使用 torchvision 加载数据集、应用图像预处理、使用预训练模型进行微调，并训练模型来解决实际的计算机视觉任务。

吉小雨
关注
专栏目录
PyTorch ImageNet 基于预训练六大常用图片分类模型的实战
TensorFlowNews
09-18 9556
微调 Torchvision 模型 在本教程中，我们将深入探讨如何对 torchvision 模型进行微调和特征提取，所有这些模型都已经预先在1000类的Imagenet数据集上训练完成。本教程将深入介绍如何使用几个现代的CNN架构，并将直观展示如何微调任意的PyTorch模型。由于每个模型架构是有差异的，因此没有可以在所有场景中使用的微调代码样板。然而，研究人员必须查看现有架构并对每个模型进行...
torchvision教程（1）：utils中的两个函数make_grid和save_image
ouening的博客
05-26 6014
OS:Win10 pytorch:1.1.0 torchvison:0.3.0 python:3.7.3(Anaconda) 准备开始系统学习pytorch，先从torchvision入手研究。 torchvision安装目录结构 . |-- _C.cp37-win_amd64.pyd |-- __init__.p...
Torch和torchvision的安装
热门推荐
syy1292的博客
04-23 5万+
叮~ 快收藏torch和torchvision的详细安装步骤~~~~~ 要安装torch和torchvision，首先要确定你电脑安装的python的版本，而且还要知道torch和torchvision的版本对应 即：torch - torchvision - python版本的对应关系（网上一搜一大把） 一. torch的安装步骤 1. 先查看python的版本，方法是Windows+R，输入cmd，打开命令提示符，输入python，即可查看python的版本 2. 根据python版本下.
安装 torchvision
DarrenXf的专栏
09-04 2873
安装torchvision pip install torchvision python3 use pip3 pip3 install torchvision change origin pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade torchvision
torchvision安装
weixin_42362399的博客
05-09 571
torchvision安装
torchvision教程
05-02
下面是一个简单的 Torchvision 教程，介绍如何使用 Torchvision 进行图像分类。 1. 安装 Torchvision Torchvision 可以通过 pip 安装，命令如下： ``` pip install torchvision ``` 2. 加载数据集 Torchvision ...
TorchVision 对象检测微调教程
hzhj的博客
07-28 902
教程流程为：自定义数据集-》加载预训练模型-》修改模型模块-》训练模型-》测试模型 自定义数据集，继承类包括如下三部分，其中私有函数__getitem__的返回结果中包含后续训练中需要的字段信息，可通过roi_heads.py文件查看check_targets函数。 数据集应继承自标准torch.utils.data.Dataset类， 数据集基类; 实现__len__， 表示图片的数量; 实现__getitem__，表示读取的原对象和返回的处理结果(数据转换或扩充的逻辑包含在此函数中); 加载预训练
ubuntu18.04安装pytorch1.9.0和torchvision0.10.0
05-14
本教程将指导你通过Anaconda创建虚拟环境，然后在该环境中安装PyTorch和TorchVision。 首先，让我们详细了解一下如何使用Anaconda来管理虚拟环境。Anaconda是一个开源的Python和R数据科学平台，它允许用户创建隔离...
下载torchvision 0.6.0 Python包教程
资源摘要信息: "torchvision-0.6.0-cp38-cp38-linux_x86_64.whl.zip" torchvision是一个流行的计算机视觉库，它是PyTorch的扩展，提供了一系列的图像处理和识别工具。torchvision库包含数据集加载器、预训练的模型...
pytorch和torchvision安装
计算机视觉算法开发与落地
09-09 4万+
使用pip安装pytorch和torchvision,如未安装pip工具，则需先安装pip，安装命令： sudo apt install python-pip 国内由于网速的限制，使用命令安装时需在后面加上清华的镜像，这样下载速度会大大提升，安装更容易成功。 pip install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple/ 此命令在安装torchvision的同时，会把torch一起安装。安装结束后重新开启一个终端并进入py
torch-torchvision-python快速安装
lafsca5的博客
03-21 1127
快速安装pytorch环境
torchvison的安装--源码
huoshi191的博客
09-10 2274
前面因为是用源码安装的pytorch，因此只能源码安装对应的torchvison. 直接使用conda安装torchvision包会将torch版本更新，导致无法使用。
简单包torchvision、PIL、cv2的安装
weixin_44340927的博客
12-13 844
pycharm中一些包的安装
安装torchvision
weixin_43370733的博客
08-04 518
在安装torchvision时候发生错误matching distribution found for torch==1.4.0 (from torchvision) 解决方法：pip3 install torchvision==0.2.1 （我的pytorch版本是1.0.0）
安装torch和torchvision（GPU）
最新发布
qq_71547093的博客
10-07 4734
安装torch和torchvision（GPU）
torchvision的使用
weixin_44738686的博客
09-01 894
torchvision中常用类方法的使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吉小雨

你的激励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值