Python 多进程

Python的多线程是假的,但是多进程是真的。在处理计算需求比较大的问题时可以考虑使用多进程:

#coding=utf-8
import copy
import numpy as np
import multiprocessing 
import z_facility as fac
from multiprocessing import Pool

# 输入处理的一个单元,比如list的一个元素
def func(line):
    # 全局记录完成进度
    done_num.value += 1
    if done_num.value%1000 == 0:
        print done_num.value/1000, '% done'

    return res_line

# 输入一个单元的处理结果,将其写入文件保存(a+模式)
def bk(res_line):
    with open('res_file', 'a+') as g:
        g.writelines(cp_line)


if __name__=='__main__':
    f = open('target_file', 'r')
    lines = f.readlines()
    f.close()

    # 全局变量,记录完成进度
    done_num = multiprocessing.Value("d", 0)

    p = Pool(4) # 进程数量:4

    # 调用多进程处理lines,处理的结果用bk
    p.map_async(func, lines, callback=bk)
    p.close()
    p.join()

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值