python framework threads_Tensorflow:使用threadp的多cpu推理

我有很多图像需要并行处理。在"Currently, this means that each thread pool will have one thread per

CPU core in your machine."

通过研究htop,我可以看到,在这个默认设置中,并不是所有的核心都被100%地利用,所以我想设置intra_op_parallelism_threads=1和{}并并行运行{}模型,不管它是如何运行的,甚至更糟糕。在

在我的8核笔记本上:

单核顺序处理:Model init time: 0.77 sec

Processing time: 37.58 sec

多CPU默认Tensorflow设置:

^{pr2}$

此代码使用多重处理:Model init time: 0.78 sec

Processing time: 39.14 sec

这是我使用multiprocessing的代码,我遗漏了什么?公司名称:import os

import glob

import time

import argparse

from multiprocessing.pool import ThreadPool

import multiprocessing

import itertools

import tensorflow as tf

import numpy as np

from tqdm import tqdm

import cv2

MODEL_FILEPATH = './tensorflow_example/inception_v3_2016_08_28_frozen.pb'

def get_image_filepaths(dataset_dir):

if not os.path.isdir(dataset_dir):

raise Exception(dataset_dir, 'not dir!')

img_filepaths = []

extensions = ['**/*.jpg', '**/*.png', '**/*.JPG', '**/*.PNG']

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值