用什么形式的变量读取dataloader，`for i, ((inputs_w, inputs_s), targets) in enumerate(train_loader)`括号里到底怎么写

最新推荐文章于 2024-11-18 12:58:05 发布

初梦语雪

最新推荐文章于 2024-11-18 12:58:05 发布

阅读量574

点赞数 24

分类专栏： # 读论文，写代码文章标签：机器学习深度学习决策树

本文链接：https://blog.csdn.net/weixin_44092088/article/details/134291655

版权

读论文，写代码专栏收录该内容

22 篇文章 0 订阅

订阅专栏

from LAC

问题描述

在这个框架下，要计算loss的时候：

for i, ((inputs_w, inputs_s), targets) in enumerate(train_loader):
	# ---------------------------- compute loss -----------------------------------

我对读取train_loader产生了疑问，为什么要这么读取呢？
一般来说，是这样读取的：

for i, x in enumerate(train_loader):

可是本来是x的地方多了那么多括号，很奇怪；

思考方式：

倒着推理，是因为从train_loader里面读取出来的，所以就是它里面的问题；
train_loader是怎么创建的呢？

train_loader = torch.utils.data.DataLoader(
        train_dataset, batch_size=args.batch_size, shuffle=True,
        num_workers=args.workers, pin_memory=True, drop_last=True)

其他参数都和数据没有关系，是train_dataset的锅了；

train_dataset, val_dataset, test_dataset = get_datasets(args)

在函数get_datasets()中：

def get_datasets(args):
	...
	train_dataset = data_handler(source_data['train']['images'][split_idx['train']], source_data['train']['labels'][split_idx['train'], :], args.dataset_dir, transform=train_transform)

source_data没问题，是data_handler的锅；
用的coco，

HANDLER_DICT = {
    'voc': VOC2012_handler,
    'coco': COCO2014_handler,
    'nus': NUS_WIDE_handler,
    'cub': CUB_200_2011_handler,
}
data_handler = HANDLER_DICT[args.dataset_name]

去找handler，

class COCO2014_handler(Dataset):
    def __init__(self, X, Y, data_path, transform=None):
        self.X = X
        self.Y = Y
        self.transform = transform
        self.data_path = data_path

    def __getitem__(self, index):
        x = Image.open(self.data_path+'/'+self.X[index]).convert('RGB')
        x = self.transform(x)
        y = self.Y[index]
        return x, y
        # -> (inputs_s, inputs_w), targets

    def __len__(self):
        return len(self.X)

其中在__getitem__()中对x进行了transform处理，问题出在这，
在函数get_datasets()中找到，其使用的transform：

train_transform = TransformUnlabeled_WS(args)

class TransformUnlabeled_WS(object):
    def __init__(self, args):
        self.weak = transforms.Compose([
			transforms.RandomHorizontalFlip(),
			transforms.Resize((args.img_size, args.img_size)),
			transforms.ToTensor()])

        self.strong = transforms.Compose([
			transforms.RandomHorizontalFlip(),
			transforms.Resize((args.img_size, args.img_size)),
			CutoutPIL(cutout_factor=0.5),
			RandAugment(),
			transforms.RandomApply([
                transforms.ColorJitter(0.4, 0.4, 0.4, 0.1)  
            ], p=0.8),
            transforms.RandomGrayscale(p=0.2),
			transforms.ToTensor()])

    def __call__(self, x):
        weak = self.weak(x)
        strong = self.strong(x)
        return weak, strong
        # 这里返回了2个