Python学习之多进程并发爬虫

以前做过Python的爬虫，不过那只爬取贴吧内容，比较简单，只是用来刚开始练练手的。这段时间又重新看Python，看到了正则表达式，于是想对爬虫再深入的了解下，主要是对爬虫的线程以及进程学习。

---

爬虫是io密集型，所以使用多线程会提高效率，但是懂点Python的人都知道，gil的存在导致Python的多线程有点坑，这里简单的介绍下gil。
Gil 是全局解释器锁，为了数据的安全。而在Python的多线程下，每个线程的执行方式为：

• 获取Gil
• 执行代码知道sleep或者是Python虚拟机将其挂起
• 释放Gil

从这里可以看得出来线程要想执行，必须要拿到Gil，但是在一个Python中只有一个Gil，而每次释放Gil锁，线程进行锁竞争、切换线程，会消耗资源，并且一个进程永远只能同时执行一个线程（拿到Gil的线程才能执行），所以Python中的多线程效率并不高。所以想要了解的话可以看下这篇博客多线程验证学习下。

---

下面来说下多进程的爬虫，Python中使用多进程需要multiprocessing，以及提供了process、queue、pipe、lock、pool等组件，这里主要使用的是pool，可以叫做进程池，想要了解其他的组件可以看下这篇博客http://cuiqingcai.com/3335.html

---

使用pool先了解下：

• pool = Pool(n) #建立进程池，n就是代表了建立几个进程，这个n的设定一般与cpu的核数一样
• pool.map(def,list)#把列表list里面的每一项映射到你所定义的def函数内，有点通过这句话做list各项循环的意味
• pool.close()#关闭进程池，不再接受新的进程

• pool.join()#主进程阻塞等待子进程安全退出，父子进程同步

  多进程爬虫实例：

这里以爬取猫眼电影中的top100电影为例子。

import json
from multiprocessing import Pool
import requests
from requests.exceptions import RequestException
import re

def get_one_page(url): #判断页面的请求状态来做异常处理
    try:
        response = requests.get(url)
        if response.status_code == 200:#200是请求成功
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?<p class="name">.*?data-val.*?>(.*?)</a>'#正则表达式
                         +'.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                         +'.*?integer">(.*?)</i>.*?fraction">(\d+)</i>.*?</dd>',re.S)
    items = re.findall(pattern, html) #返回正则结果
    for item in items:  #对结果进行迭代，修饰
        yield{
            '排名：':item[0],
            '电影：':item[1],
            '主演：':item[2].strip()[3:],
            '上映时间：':item[3].strip()[5:],
            '评分：':item[4]+item[5]
        }
def write_to_file(content): #写入文件“result.txt”中
    with open('result.txt', 'a', encoding='utf-8') as f: #以utf-8的编码写入
        f.write(json.dumps(content, ensure_ascii=False) + "\n") #json序列化默认使用ascii编码，这里禁用ascii
        f.close()

def main(page):
    url = "http://maoyan.com/board/4?offset=" + str(page) #page 为页码数
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    '''
    for i in range(10):
        main(i*10)
    '''
    pool = Pool() #建立进程池
    pool.map(main, (i*10 for i in range(10)))#映射到主函数中进行循环

在使用多进程的时候还可以加入异步，这个还没有学习，之后会加入进来，在爬取大量的数据时候或者图片的时候会大大的提高效率。

---

在学习Python的爬虫可以到这上面去学习：

虫师
静觅