工作中需要用到python 数据预处理,然后 跑spark hadoop 太过繁琐,为提高计算速度,再加所用服务器核比较多,然后考虑用parrelell python.
1、pp用的包 :包名叫pp, pip install pp
import math,sys,time
import pp
2、主要函数
job_server = pp.Server(cpu_number,ppservers = ppserver)
job1 = job_server.submit(***)
job2 = job_server.submit(***)
jobn = job_server.submit(***)