DataLoader
API:torch.utils.data.DataLoader
功能:构建可迭代的数据装载器
- dataset:Dataset类,决定数据从哪里读取及如何读取
- batchsize:批大小
- num_works:是否多进程读取数据
- shuffle:每个epoch是否乱序
- deop_last: 当样本数不能batchsize整除时,是否舍弃最后一批数据
Dataset
API:torch.utils.data.Dataset
功能:Dataset抽象类,所有自定义的Dataset需要继承它,并且写
_ _ getitem _ _()
getitem: 接收一个索引,返回一个样本
图片读取
def get_imag_info(data_dir):
data_info = list()
for root, dirs, files in os.walk(data_dir):
#图片不是分散在多个文件下的,可以直接使用files进行读取,直接可遍历图片(下方程序)
#遍历类别,data_dir文件夹下的每个文件的
for sub_dir in dirs:
img_names = os.listdir(os.path.join(root, sub_dir)) #os.listdir(path)需要列出的目录路径
img_names = list(filter(lambda x: x.endswith('.jpg'), img_names))# endwith函数为字符串是否存,filter过滤不符合条件的路径,list列举出来
#遍历图片
for i in range(len(img_names)): #文件夹下图片的数量
img_name = img_name[i] #每张图片的路径
path_img = os.path.join(root, sub_dir,img_name) #完整路径名字
# label = rmb_label[sub_dir] #对应目录的名字
# data_info.append((path_img, int(label)))
data_info.append(path_img)
return data_info()
os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。
os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。
- root 所指的是当前正在遍历的这个文件夹的本身的地址
- dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
- files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)