Python下的多进程实现——利用multiprocessing库实现并发爬虫

Python下的多进程实现——利用multiprocessing库实现并发爬虫

主要使用到的函数如下：
multiprocessing 库下的 Process
——实现多进程的主要函数
如果希望进程间共享数据，则使用Manager
——manager.dict( a ) 共享一个类型为字典的数据
——manager.list( a ) 共享一个类型为列表的数据
Value、Array，实现值共享、数组共享
——n = Value(‘i’, 7)
——x = Value(c_double, 1.0/3.0, lock=False)
if _name_ == ‘_main_‘:
——实现多进程的重要语句！类似于linux下的fork() == 0

---

和fork（)实现多进程的不同之处：

• linux下fork会复制前面的从程序开始的栈帧，一直到fork之前的全部内存区域 ，包括变量、函数表等等
• 而python下略有不同的是，python并非复制，而是会执行一次前面的所有语句！
• 因此！利用 if __name__ == '__main__': 语句是很重要的！

简单的附上一小段python代码

本文提到的一些用法在python的官方文档都可以找到，而且更加详细。链接：https://docs.python.org/2/library/multiprocessing.html#process-and-exceptions 敬请查阅！不再重复搬运

if __name__ == '__main__':
    for i in tailset:
        if os.path.exists(savepath+i):
            print i,'[skip]'
            continue
        else:
            p = Process(target = download, args = (i,website,bookname,savepath,bookname))
            allprocess.append(p)
    #print allprocess
    forkset = []
    count = 0
    for i in allprocess:
        i.start()
        forkset.append(i)
        count+=1
        if count == 16:#more than 16 will be dangerous
            for proc in forkset:
                proc.join()
            count = 0
            forkset = []
            sleep(1)

说明

主要功能是实现一个16进程并发的爬网页爬虫。
其中简简单单的实现了一个伪进程池。每16个进程为1组，添加sleep函数以避免高频访问

更多内容有待补充