pytorch 多进程队列

最新推荐文章于 2024-09-01 21:43:29 发布

AI算法网奇

最新推荐文章于 2024-09-01 21:43:29 发布

阅读量4.3k

点赞数

分类专栏： pytorch知识宝典

本文链接：https://blog.csdn.net/jacke121/article/details/92759423

版权

pytorch知识宝典专栏收录该内容

499 篇文章 227 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何在PyTorch中利用多进程加载数据，并通过队列进行高效通信，提高数据预处理和训练的并行性，从而加速深度学习模型的训练过程。

摘要由CSDN通过智能技术生成

import os
import time
import torch


import torch.multiprocessing as mp

from torch.multiprocessing import Pool, Manager

def train(model):
    # 构建 data_loader，优化器等
    for i in range(3000):
        x = torch.rand(1, 3, 1280, 720)
        err=0
        while True:
            start = time.time()
            model.put(x)
            print('put time', time.time() - start)


def write(model):
    # 构建 data_loader，优化器等
    for i in range(3000):
        start = time.time()
        data=model.get()
        # x = torch.rand(1, 3, 1280, 720)
        # # torch.set_num_threads(3)
        # start = time.time()
        # torch.save(x, 'd:/lib/' + str(0) + '.dat')
        if time.ti

了解本专栏