torchvision
官网:https://pytorch.org/Python官网.
点进 torchvision:
- torchvision 文档列出了很多科研或者毕设常用的一些数据集,如入门数据集MNIST,用于手写文字。这些数据集位于 torchvision.datasets模块,可以通过该模块对数据集进行下载,转换等操作。
- torchvision还有 io模块,但不常用
- torchvision.models会提供一些训练好的神经网络模型,在之后会用到。
- torchvision.transforms之前已经学习过了,主要提供一些数据处理的工具。
接下来主要讲解如何联合使用 torchvision.datasets 和 torchvision.transforms
CIFAR数据集
具有一些参数,如root,设置数据集所在目录路径等。
数据集官网:https://www.cs.toronto.edu/~kriz/cifar.html
这个数据集包含了 60000张32*32像素的10个类别的彩色图片,每个种类6000张图片,其中60000张中50000张是训练图片,10000张是测试图片。
2.1下载数据集
import torchvision
train_set = torchvision.datasets.CIFAR10(root="../dataset", train=True, download=True)
test_set = torchvision.datasets.CIFAR10(root="../dataset", train=False, download=True)
2.2图片都转为ToTensor
# 每张图片都转为ToTensor类型
dataset_transform = torchvision.transforms.Compose([
torchvision.transforms.ToTensor()
])
train_set = torchvision.datasets.CIFAR10(root="../dataset", train=True, transform=dataset_transform, download=True) # train参数表示是训练集还是测试集
test_set = torchvision.datasets.CIFAR10(root="../dataset", train=False, transform=dataset_transform, download=True)
2.3一些测试
# print(test_set.classes) # ['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']
# img, target = test_set[0]
# print(img) # <PIL.Image.Image image mode=RGB size=32x32 at 0x1DFB4BA9160>
# print(target) # 3
# print(test_set.classes[target]) # cat
# img.show()
# print(test_set[0])
2.4tensorboard进行查看
由于数据集的图片类型是PIL Image,torch无法直接使用,所以要先转为tensor,通过 transforms 实现。
这里用transforms将图片转为 tensor类型后,用tensorboard进行查看:
writer = SummaryWriter("../logs/P14")
for i in range(10):
img, target = test_set[i]
writer.add_image("test_set", img, i)
writer.close()
(pytorch) E:\CodeCodeCodeCode\AI\Pytorch-study>tensorboard --logdir="logs/P14"
TensorFlow installation not found - running with reduced feature set.
Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all
TensorBoard 2.7.0 at http://localhost:6006/ (Press CTRL+C to quit)
2.5其他数据集的使用
使用其他数据集的方法也很简单,设置好所需参数就可以了:
以COCO为例,一样的,设置存储路径,json文件存储路径,transform,target_transform,transforms 就可以了。
注:如果下载速度比较慢,可以通过将下载路径复制到迅雷中进行数据集下载,下载好后设置好存放目录的路径就行。