python图片读取

这篇博客介绍了如何利用PyTorch的DataLoader和Dataset API来读取和处理图片数据。DataLoader负责构建可迭代的数据装载器,可以设置批大小、是否启用多进程读取和数据是否乱序。Dataset是一个抽象类,自定义的图片数据集需要继承它并实现getitem方法。文章还提到了os.walk()方法,用于遍历目录树并获取文件和子目录信息。
摘要由CSDN通过智能技术生成

DataLoader

API:torch.utils.data.DataLoader
功能:构建可迭代的数据装载器

  • dataset:Dataset类,决定数据从哪里读取及如何读取
  • batchsize:批大小
  • num_works:是否多进程读取数据
  • shuffle:每个epoch是否乱序
  • deop_last: 当样本数不能batchsize整除时,是否舍弃最后一批数据

Dataset

API:torch.utils.data.Dataset
功能:Dataset抽象类,所有自定义的Dataset需要继承它,并且写
_ _ getitem _ _()
getitem: 接收一个索引,返回一个样本

图片读取

def get_imag_info(data_dir):
	data_info = list()
	for root, dirs, files in os.walk(data_dir):
	#图片不是分散在多个文件下的,可以直接使用files进行读取,直接可遍历图片(下方程序)
		#遍历类别,data_dir文件夹下的每个文件的
		for sub_dir in dirs:
			img_names = os.listdir(os.path.join(root, sub_dir)) #os.listdir(path)需要列出的目录路径
			img_names = list(filter(lambda x: x.endswith('.jpg'), img_names))# endwith函数为字符串是否存,filter过滤不符合条件的路径,list列举出来

			#遍历图片
			for i in range(len(img_names)):  #文件夹下图片的数量
				img_name = img_name[i] #每张图片的路径
				path_img = os.path.join(root, sub_dir,img_name) #完整路径名字
				# label = rmb_label[sub_dir]  #对应目录的名字
                # data_info.append((path_img, int(label)))
				data_info.append(path_img)
	return data_info()

os.walk() 方法用于通过在目录树中游走输出在目录中的文件名,向上或者向下。
os.walk() 方法是一个简单易用的文件、目录遍历器,可以帮助我们高效的处理文件、目录方面的事情。

  • root 所指的是当前正在遍历的这个文件夹的本身的地址
  • dirs 是一个 list ,内容是该文件夹中所有的目录的名字(不包括子目录)
  • files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值