1、数据加载
数据集被抽象为Dataset类, 只负责数据的抽象
两个魔法方法:
__getitem__:返回一条数据或一个样本,
__len__:返回样本的数量
ImageFolder()
对数据进行shuffle和并行加速
DataLoader(dataset, batch_size=1, shuffle=False,...)
2、计算机视觉工具包:torchvision
torchvision包括三个部分:
(1)model: 提供深度学习中各种经典网络结构以及预训练好的模型,如VGG系列,Resnet系列等;
(2)datasets:提供常用的数据集加载,设计上都是继承torch.utils.data.Dataset,主要包括MNIST、CIFAR10等;
(3)transforms:提供常用的数据预处理操作,包括对Tensor以PIL Image对象的操作。
3、可视化工具
常用的可视化工具:tensorboard以及visdom,
针对pytorch: tensofboard提供了tensorboard_logger,: 安装pip install tensorborad_logger
这个工具的支持的可视化功能有限,除了tensorboard_logger之外,还有一个专门针对pytorch的tensorboardX支持更多功能。
visdom功能
- 是facebook专门为pytorch开发的一个可视化工具,提供了丰富的可视化任务。
- 安装:pip install visdom
-启动:python -m visdom server命令,启动服务,或则通过nohup python -m visdom.server &将服务放置后台运行,默认的绑定端口为8097