数据并不总是以训练机器学习算法所需的最终处理形式出现。我们使用变换来对数据进行一些处理,使其适合训练。
所有的 TorchVision 数据集都有两个参数: transform 用于修改特征和 target_transform 用于修改标签,它们接受包含转换逻辑的 callables。torchvision.transforms 模块提供了几个常用的转换算法,开箱即用。
FashionMNIST 的特征是 PIL 图像格式,而标签是整数。对于训练,我们需要将特征作为归一化的tensor,将标签作为独特编码的tensor。 为了进行这些转换,我们使用 ToTensor 和 Lambda。
import torch
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambda
ds = datasets.FashionMNIST(
root="data",
train=True,
download=True,
transform=ToTensor(),
# ToTensor 将 PIL 图像或 NumPy 的 ndarray 转换为 FloatTensor。图像的像素强度值在 [0., 1.] 范围内缩放。
target_transform=Lambda(lambda y: torch.zeros(10, dtype=torch.float).scatter_(0, torch.tensor(y), value=1))
# Lambda transforms 应用任何用户定义的 lambda 函数。在这里,我们定义了一个函数来把整数变成一个独热(one-hot)编码的tensor。
# 它首先创建一个大小为10(我们数据集中的标签数量)的零tensor,然后传递参数 value=1 在标签 y 所给的索引上调用 scatter_ 。
# 本例将lambda函数赋值给变量target_transform,导入标签值y,再进行 one-hot 编码。
)
torch.zeros()
:返回一个由标量0填充的张量,形状由size(10)决定,参数可以是一个list 也可以是一个元组。type指定返回tensor的数据类型,如果为None,使用默认值
scatter_()/scatter()
:pytorch中,一般函数加下划线代表直接在原来的Tensor上修改。
scatter_(input, dim, index, src):
将src中数据根据index中的索引按照dim的方向填进input。可以理解成放置元素或者修改元素
torch.tensor():
通过数据构造张量的函数
例子:
import torch
class_num = 10
batch_size = 4
label = torch.LongTensor(batch_size, 1).random_() % class_num
print(label)
tensor = torch.zeros(batch_size, class_num).scatter_(1, label, 1)
print(tensor)