当初提问global怎么用,其实是为了实现一个需求:既利用多进程,又要让多进程共同操作一个数,然后等结束在主进程里打印这个数(比如计数器)。
经过@glcomcn 的指点,另外查了些资料,我用另外一种方式实现了这个需求:换Pool模块为Process,然后用Manager,Value类型的变量是特殊的变量,可以强大地跨进程。
感谢感谢~
经过以下定义,lst和num就相当于是全局的了
lst = manager.list()
num = Value('d', 0.0)
完整代码如下:
from multiprocessing import Pool,Manager,Value,Process
def main(lst,num,offset):
lst.append(offset)
num.value+=1
print("lst in main:",lst)
print('num.value main:',num.value)
if __name__=='__main__':
pool=Pool()
manager = Manager()
lst = manager.list()
num = Value('d', 0.0)
for offset in range(0,4):
p= Process(target=main, args=(lst,num, offset))
p.start()
p.join()
lst.append(10)
print("lst:",lst)
print('num.value:',num.value)
打印效果如下:
lst in main: [0]
num.value main: 1.0
lst in main: [0, 1]
num.value main: 2.0
lst in main: [0, 1, 2]
num.value main: 3.0
lst in main: [0, 1, 2, 3]
num.value main: 4.0
lst: [0, 1, 2, 3, 10]
num.value: 4.0
multiprocessing的学习先到这里,复杂的部分现在对我确实太难。我根本不知道进程和线程在创建和消灭时发生了什么,还有什么cpu密集和io密集,虽然大学貌似还学过但是忘完了
当时提问是我的爬虫需要:为了速度开启了多个进程,但是又需要统计总的重复次数。
已经应用到我的爬虫程序中~并随手写成文章