DatasetFolder
DatasetFolder 是 PyTorch 中的数据加载工具，用于从文件夹结构中加载通用数据集。它通常用于构建自定义数据集，特别是在数据以文件夹形式组织时。DatasetFolder 类继承自 Dataset 类，并且允许用户通过指定目录和文件的后缀来创建数据集。
使用方法
下面是 DatasetFolder 的基本用法：
from torchvision.datasets import DatasetFolder
from torchvision import transforms
# 定义数据转换
transform = transforms.Compose([
transforms.Resize((128, 128)),
transforms.ToTensor(),
])
# 自定义数据加载函数
def loader(path):
from PIL import Image
return Image.open(path).convert('RGB')
# 创建 DatasetFolder 实例
dataset = DatasetFolder(
root='path/to/data',
loader=loader,
extensions=('jpg', 'jpeg', 'png'),
transform=transform
)
参数说明
root: 数据集所在的根目录。loader: 一个函数，用于加载给定路径的文件。例如，可以使用PIL.Image.open来加载图像文件。extensions: 一个包含文件后缀名的元组，用于指定要加载的文件类型。transform: 数据预处理和转换的函数。
特性
DatasetFolder支持将不同类别的数据存放在子文件夹中，每个子文件夹的名称会作为类别标签。- 支持多种文件类型，通过
extensions参数进行指定。 - 可以与
DataLoader一起使用，以实现批量数据加载和多线程数据预处理。
示例
假设你的数据集结构如下：
path/to/data
|-- class1
| |-- img1.jpg
| |-- img2.jpg
| `-- ...
|-- class2
| |-- img1.jpg
| |-- img2.jpg
| `-- ...
`-- ...
你可以使用 DatasetFolder 类来加载这个数据集，并应用所需的预处理和转换。
from torch.utils.data import DataLoader
# 创建 DatasetFolder 实例
dataset = DatasetFolder(
root='path/to/data',
loader=loader,
extensions=('jpg', 'jpeg', 'png'),
transform=transform
)
# 创建 DataLoader 实例
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)
# 迭代数据
for images, labels in dataloader:
# 处理数据
pass
这样，你就可以方便地加载和处理自定义文件夹结构的数据集了。
VisionDataset
VisionDataset 是 PyTorch 中 torchvision 库提供的一个基类，用于构建视觉数据集。它提供了一个基础框架，方便用户创建自定义的数据集类，并实现通用功能，如数据加载和预处理。VisionDataset 继承自 PyTorch 的 Dataset 类，并进一步为处理图像等视觉数据提供了便利。
特性
- 统一的接口：提供统一的数据加载接口，方便与其他
torchvision数据集兼容。 - 数据转换：支持数据转换（transform）和目标转换（target_transform）。
- 抽象层：定义了基本的方法，需要子类实现具体的数据加载逻辑。
使用方法
创建自定义数据集时，可以继承 VisionDataset 并实现其中的抽象方法，如 __len__ 和 __getitem__。
示例
下面是一个示例，演示如何基于 VisionDataset 创建自定义数据集：
import os
from PIL import Image
from torchvision.datasets import VisionDataset
from torchvision import transforms
class CustomDataset(VisionDataset):
def __init__(self, root, transform=None, target_transform=None):
super(CustomDataset, self).__init__(root, transform=transform, target_transform=target_transform)
self.images = []
self.labels = []
for label, subdir in enumerate(os.listdir(root)):
subdir_path = os.path.join(root, subdir)
if os.path.isdir(subdir_path):
for file_name in os.listdir(subdir_path):
if file_name.endswith(('jpg', 'jpeg', 'png')):
file_path = os.path.join(subdir_path, file_name)
self.images.append(file_path)
self.labels.append(label)
def __len__(self):
return len(self.images)
def __getitem__(self, index):
img_path = self.images[index]
label = self.labels[index]
img = Image.open(img_path).convert('RGB')
if self.transform:
img = self.transform(img)
if self.target_transform:
label = self.target_transform(label)
return img, label
# 定义数据转换
transform = transforms.Compose([
transforms.Resize((128, 128)),
transforms.ToTensor(),
])
# 创建自定义数据集实例
dataset = CustomDataset(root='path/to/data', transform=transform)
# 使用 DataLoader 加载数据
from torch.utils.data import DataLoader
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)
# 迭代数据
for images, labels in dataloader:
# 处理数据
pass
参数说明
root: 数据集的根目录。transform: 一个函数或转换序列，用于对图像进行预处理。target_transform: 一个函数或转换序列，用于对标签进行预处理。
VisionDataset 的作用
VisionDataset 提供了一种结构化的方式来创建自定义数据集，使得用户在构建数据集时可以专注于数据的具体处理逻辑，而不必重复编写数据加载和转换的通用代码。这种设计方式提高了代码的可维护性和复用性。
总结来说，VisionDataset 是 PyTorch 中一个非常有用的基类，专为视觉数据集设计，帮助用户更轻松地创建和管理复杂的数据集。
torch.backends.cudnn.deterministic = True
在 PyTorch 中，设置 torch.backends.cudnn.deterministic = True 的目的是为了确保在使用 CUDA 后端的神经网络计算中，得到确定性（即可重复）的结果。
背景
在深度学习中，尤其是当使用 GPU 加速计算时，某些操作（例如卷积）可能具有非确定性。这意味着即使使用相同的输入数据和相同的模型参数，每次运行的结果可能会略有不同。这种非确定性主要是由于以下几个原因：
- 并行计算：GPU 上的并行计算导致了某些操作的执行顺序不确定。
- 浮点数计算：浮点数计算中的舍入误差在并行计算时可能会累积并导致不同的结果。
- CuDNN 库：NVIDIA 的 CuDNN 库为了提高性能，某些操作使用了非确定性算法。
torch.backends.cudnn.deterministic = True
通过设置 torch.backends.cudnn.deterministic = True，你告诉 CuDNN 使用确定性的（但可能较慢的）算法，从而确保每次运行得到相同的结果。这对于某些需要结果可重复的情况（例如实验结果的再现性或调试）是非常重要的。
import torch
# 设置 CuDNN 后端为确定性模式
torch.backends.cudnn.deterministic = True
# 示例代码
model = ... # 定义你的模型
data = ... # 定义你的输入数据
output = model(data) # 运行模型
注意事项
- 性能影响：启用确定性算法通常会降低计算性能，因为确定性算法可能没有非确定性算法快。
- 结合使用：为了确保完全的可重复性，除了设置
torch.backends.cudnn.deterministic = True，还需要设置随机种子：import torch import random import numpy as np random.seed(42) np.random.seed(42) torch.manual_seed(42) if torch.cuda.is_available(): torch.cuda.manual_seed(42) torch.cuda.manual_seed_all(42) # 如果有多个 GPU - 非确定性操作：即使设置了
torch.backends.cudnn.deterministic = True，某些操作可能仍然是非确定性的。例如，一些特定的 CUDA 操作可能不会受到这个设置的影响。
总结
torch.backends.cudnn.deterministic = True 是为了确保在使用 CuDNN 后端时，所有操作都使用确定性的算法，从而使得模型在相同输入下每次运行的结果都相同。这对于需要结果一致性的场景非常重要，但可能会带来一些性能上的损失。
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.benchmark = False 是 PyTorch 中的一项设置，用于控制 CuDNN 库在卷积操作中选择最优算法的行为。下面是详细解释：
背景
NVIDIA 的 CuDNN 库在运行卷积操作时，有多个可供选择的算法。这些算法在不同的硬件和输入大小情况下，性能可能差异很大。为了选择最优的算法，CuDNN 可以进行运行时的性能测试，称为“基准测试”（benchmark）。
torch.backends.cudnn.benchmark
-
当
benchmark = True：- CuDNN 会基于输入大小和卷积参数运行基准测试，选择最优的算法进行计算。
- 这种方法在输入大小固定的情况下可以显著提高性能。
- 但对于输入大小变化的情况，每次变化都会重新进行基准测试，可能会增加开销。
-
当
benchmark = False：- CuDNN 将不进行基准测试，而是使用默认算法。
- 虽然这种方式可能不会选择性能最优的算法，但在输入大小变化的情况下，可以避免每次变化都进行基准测试，减少额外的开销。
使用场景
-
benchmark = True：- 适用于输入大小固定的场景，例如固定尺寸的图像输入。
- 能够最大化利用硬件性能，提升卷积操作的效率。
-
benchmark = False：- 适用于输入大小变化的场景，例如输入大小不定的自然语言处理任务。
- 避免了频繁的基准测试，减少了额外的性能开销。
示例代码
import torch
# 设置 CuDNN benchmark 为 False
torch.backends.cudnn.benchmark = False
# 示例代码
model = ... # 定义你的模型
data = ... # 定义你的输入数据
output = model(data) # 运行模型
注意事项
- 性能差异：在某些情况下，使用默认算法（
benchmark = False）可能会导致性能不如最佳算法（benchmark = True）。 - 确定性：设置
torch.backends.cudnn.deterministic = True时，也常常设置torch.backends.cudnn.benchmark = False以确保结果的确定性和可重复性。
结合使用
为了确保训练和推理的可重复性，可以结合使用以下设置：
import torch
import random
import numpy as np
# 设置随机种子
random.seed(42)
np.random.seed(42)
torch.manual_seed(42)
if torch.cuda.is_available():
torch.cuda.manual_seed(42)
torch.cuda.manual_seed_all(42) # 如果有多个 GPU
# 确定性设置
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
总结
torch.backends.cudnn.benchmark = False 是为了避免 CuDNN 在每次输入大小变化时都进行基准测试，适用于输入大小不定的场景。结合 torch.backends.cudnn.deterministic = True 可以确保结果的确定性和可重复性。
from torchsummary import summary
torchsummary 是一个方便的库，用于在 PyTorch 中快速查看神经网络模型的摘要信息。它提供的 summary 函数可以输出模型的结构、每层的输出形状、参数数量等详细信息，有助于理解和调试神经网络模型。
安装
你可以通过 pip 安装 torchsummary：
pip install torchsummary
使用方法
使用 torchsummary 的 summary 函数可以很容易地查看模型的结构。以下是一个简单的示例，演示如何使用 summary 来打印模型摘要信息：
import torch
import torch.nn as nn
from torchsummary import summary
# 定义一个简单的卷积神经网络
class SimpleCNN(nn.Module):
def __init__(self):
super(SimpleCNN, self).__init__()
self.conv1 = nn.Conv2d(3, 16, kernel_size=3, padding=1)
self.conv2 = nn.Conv2d(16, 32, kernel_size=3, padding=1)
self.fc1 = nn.Linear(32 * 8 * 8, 128)
self.fc2 = nn.Linear(128, 10)
self.pool = nn.MaxPool2d(kernel_size=2, stride=2)
self.relu = nn.ReLU()
def forward(self, x):
x = self.pool(self.relu(self.conv1(x)))
x = self.pool(self.relu(self.conv2(x)))
x = x.view(-1, 32 * 8 * 8)
x = self.relu(self.fc1(x))
x = self.fc2(x)
return x
# 创建模型实例
model = SimpleCNN()
# 打印模型摘要信息
summary(model, input_size=(3, 32, 32))
参数说明
model：你的 PyTorch 模型实例。input_size：输入张量的大小，通常是一个元组，例如(3, 32, 32)表示输入是 3 通道的 32x32 图像。device（可选）：指定计算设备，默认为torch.device('cpu')。如果模型在 GPU 上训练，可以指定torch.device('cuda')。
输出示例
运行上述代码后，summary 函数将输出模型的详细摘要信息，例如：
----------------------------------------------------------------
Layer (type) Output Shape Param #
================================================================
Conv2d-1 [-1, 16, 32, 32] 448
ReLU-2 [-1, 16, 32, 32] 0
MaxPool2d-3 [-1, 16, 16, 16] 0
Conv2d-4 [-1, 32, 16, 16] 4,640
ReLU-5 [-1, 32, 16, 16] 0
MaxPool2d-6 [-1, 32, 8, 8] 0
Linear-7 [-1, 128] 262,272
ReLU-8 [-1, 128] 0
Linear-9 [-1, 10] 1,290
================================================================
Total params: 268,650
Trainable params: 268,650
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 0.01
Forward/backward pass size (MB): 0.42
Params size (MB): 1.02
Estimated Total Size (MB): 1.45
----------------------------------------------------------------
优点
- 直观：提供了模型各层的输出形状和参数数量，有助于快速了解模型结构。
- 详细：输出总参数数、可训练参数数和非可训练参数数等信息。
- 实用：有助于发现模型设计中的潜在问题，如参数数量过多或过少。
总结来说，torchsummary 是一个非常有用的工具，特别是在调试和理解复杂神经网络模型时，能够提供丰富的模型结构信息。
2460
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
