并行计算在图像像素点遍历处理中的简单应用

前言

并行计算的模型可分为共享内存模型、消息传递模型、数据并行模型以及任务并行模型
顾名思义，数据并行运算为一种将大块数据分解为小块数据供多个处理器独立处理的计算方法。

问题描述

本文所需要解决的问题是，在对一帧图像进行以行为单位像素遍历时对像素点的灰度值剧变的次数进行计数，在单核单线程执行时，遍历过程较慢，使得图像检测的频率无法满足控制频率的要求。
考虑到遍历时对于该线程CPU始终处于负载状态，因此即使使用多线程也无法提高遍历速度，这里考虑采用多核多进程对多个小的像素块进行并行处理以提高运行速度。

concurrent.futures模块简介

concurrent.futures提供了ThreadPoolExecutor (线程池)和ProcessPoolExecutor (进程池)两个类，相比于传统的threading以及multiprocess库，该模块提供了进程池以及线程池，可以直接通过submt实现对进程或线程的添加。

具体使用

首先根据CPU核心数定义进程数num_Process
创建进程池executor后根据进程数对图像进行分割，这里按照高度进行分割，process_image_region函数中是对图像以行为单位的遍历。通过submit提交至进程池，处理后结果可以通过访问future对象的返回值得到。最后将四个进程的返回值进行保存处理。

def process_image(img):
    height, width = img.shape[:2]
    num_Process = 4  # 可根据具体硬件情况进行调整
    step = height // num_Process

    with concurrent.futures.ProcessPoolExecutor() as executor:
        futures = []
        for i in range(num_Process):
            start_y = i * step
            end_y = start_y + step if i < num_threads - 1 else height
            future = executor.submit(process_image_region, img, start_y, end_y)
            futures.append(future)

        midx = []
        midy = []
        for future in futures:
            region_midx, region_midy = future.result()
            midx.extend(region_midx)
            midy.extend(region_midy)

    return midx, midy

结论

经过多进程的并行运算每帧的处理速度由1.2s提升至0.4秒左右，考虑到创建进程以及进程之间的通信消耗，该方法对处理速度有较显著的提升。