data.DataLoader 数据丢失 不能复用

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/jacke121/article/details/81286936

 

如果num_workers设置为8,为8个进程同时读取数据,读取每一个会快点

但是dataset想做数据缓存就没有了,每次都会丢失,重新读数据。

如果想做缓存,num_workers就需要设置为0

data_loader = data.DataLoader(dataset, cfg.TRAIN_BATCH_SIZE, num_workers=8,#cfg.NUM_WORKERS,
                          shuffle=True, collate_fn=detection_collate, pin_memory=True)

 

 

展开阅读全文

没有更多推荐了,返回首页