python3 +multiprocessing 实现多进程

import os, multiprocessing

cpu=os.cpu_count # 获取电脑核数
p = multiprocessing.Pool(processes=cpu)

for rankBY in data:   # data 是要多进程处理的参数
    p.apply_async(main, args=(rankBY, ))  
print('正在多进程抓取写入第goods层链接')
p.close()
p.join()
print('第goods层链接写入完成!')
print("line to mysql..")

1. 丢包情况,多进程爬虫启动chromedriver,会出现空开浏览器，也就是没输入网址的情况
2. 进程间的优化，多进程＋协程。。。