在使用pytorch的Dataset中时，pathlib中glob的应用

jayus丶

已于 2022-10-07 15:41:04 修改

阅读量541

点赞数

文章标签： pytorch python 深度学习

于 2022-10-07 15:21:43 首次发布

本文链接：https://blog.csdn.net/m0_51763225/article/details/127194405

版权

作者学习记录方便查询

在使用Pytorch的Dataset的时候，常常会需要对存放数据的文件夹进行遍历等操作，有时可以使用os库，pathlib库也比较好用。
首先生成一个路径文件：

data_root = pathlib.Path(path)# 生成一个路径文件

之后根据路径文件进行处理：

all_image_paths = list(data_root.glob('*/*'))# 返回所有分类文件夹下面的文件名称，可以增添文件类型进行限制

glob可以返回路径下多种形式的遍历情况
例如：

data_root = pathlib.Path(r'D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames')# ped2训练集文件夹，含有16个文件夹，每个文件夹下含有图像文件。
all_image_paths = data_root.glob('*')
# 返回文件夹下面所有文件路径，可以通过添加后缀来限制文件格式，例：glob('*.py')
for i in all_image_paths:
    print(i)
# 输出情况
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\02
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\03
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\04
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\05
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\06
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\07
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\08
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\09
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\10
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\11
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\12
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\13
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\14
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\15
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\16
all_image_paths = data_root.glob('**')
# 相比于上种情况，还返回自身路径
for i in all_image_paths:
    print(i)
#输出情况：
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\02
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\03
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\04
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\05
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\06
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\07
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\08
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\09
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\10
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\11
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\12
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\13
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\14
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\15
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\16
all_image_paths = data_root.glob(r'*/*')
# 这种格式还会返回子文件夹下面的文件路径
for i in all_image_paths:
    print(i)
# 输出情况
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\000.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\001.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\002.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\003.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\004.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\005.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\006.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\007.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\008.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\009.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\010.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\011.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\012.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\013.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\014.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\015.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\016.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\017.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\018.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\019.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\020.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\021.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\022.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\023.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\01\024.jpg
...
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\16\146.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\16\147.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\16\148.jpg
D:\暑假学习\自编码器异常检测\datasets\ped2\training\frames\16\149.jpg