多进程 读取图片shape

import cv2
from tqdm import tqdm
from multiprocessing import Pool

from utils import get_all_path
def process_image(img_path):
    img = cv2.imread(img_path)
    h, w, _ = img.shape
    if h != 1080 or w != 1920:
        print('shape', img_path, h, w)

if __name__ == '__main__':
    # 图像路径列表
    img_dir = './org_img'
    img_pathway = get_all_path(img_dir, ['.jpg'])


    # 创建进程池,根据需要设置进程数量
    pool = Pool(processes=10)  # 这里使用4个进程

    # 使用进程池处理图像路径列表
    with tqdm(total=len(img_pathway)) as pbar:
        for _ in pool.imap_unordered(process_image, img_pathway):
            pbar.update()

    # 关闭进程池
    pool.close()
    pool.join()
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
这里给出一个基于共享内存的简单示例代码,实现多进程DDPG的共享经验数据和模型参数: ```python import multiprocessing as mp import numpy as np # 定义全局共享内存 obs_shape = (4,) obs_shm = mp.Array('d', int(np.prod(obs_shape))) act_shape = (2,) act_shm = mp.Array('d', int(np.prod(act_shape))) rew_shm = mp.Value('d', 0.0) done_shm = mp.Value('i', 0) # 定义经验收集进程 def collect_exp(): while True: obs = np.frombuffer(obs_shm.get_obj()).reshape(obs_shape) act = np.frombuffer(act_shm.get_obj()).reshape(act_shape) rew = rew_shm.value done = done_shm.value # 收集经验数据并存储到经验池中 # 定义训练进程 def train(): while True: # 从经验池中采样数据并更新模型参数 # 将更新后的模型参数存储到共享内存中 if __name__ == '__main__': # 创建经验收集进程和训练进程 collect_proc = mp.Process(target=collect_exp) train_proc = mp.Process(target=train) collect_proc.start() train_proc.start() collect_proc.join() train_proc.join() ``` 在上述代码中,我们使用了`mp.Array`来创建共享内存,其中`obs_shm`和`act_shm`分别存储状态和动作,`rew_shm`存储奖励,`done_shm`存储是否结束标志。在经验收集进程中,我们读取共享内存中的数据,并将其存储到经验池中;在训练进程中,我们从经验池中采样数据,并更新模型参数,然后将更新后的模型参数存储到共享内存中。需要注意的是,在进行共享内存操作时,需要使用`np.frombuffer`将共享内存转换为`numpy`数组,以方便进行数据处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值