python tensorflow 多进程或多线程批量读取图像数据读取加速 multiprocessing.pool concurrent.futures

最新推荐文章于 2022-12-11 21:45:53 发布

老光头_ME2CS

最新推荐文章于 2022-12-11 21:45:53 发布

阅读量1.6k

点赞数

本文链接：https://blog.csdn.net/Forrest97/article/details/106895624

版权

文章目录

需求

格式为（batch, frames, h, w, c）的视频输入需要使用生成器，自定义网络的输入，但是重复batch*frames次数据的读取操作，如果默认循环读取方式，读取速度100frames/s，严重影响训练进程。
电脑CPU核心数充沛，需要使用多进程方案，每一个batch分配一个进程，并行读取数据。

multiprocessing.pool

百度搜网上基本是这段程序

import os
import time
from PIL import Image
from multiprocessing import Pool
 
def get_file_path(path):
    img_paths = []
    dirs = os.listdir(path)
    for file_dir in dirs:
        file_path = os.path.join(path, file_dir)
        img_names = os.listdir(file_path)
        for img_name in img_names:
            img_path = os.path.join(file_path, img_name)
            img_paths<