多进程抓取猫眼电影榜单（解释python下为何多核选用多进程）

因为GIL（Global Interpreter Lock(全局解释器锁)）存在，且一个CPU同一时间只能执行一个线程（单核多线程为并发而非并行）。

每个线程执行方式：

获取GIL →I/O或操作达到阈值 → 释放GIL

CPU密集操作，计数快速达到阈值，然后触发GIL的释放与再竞争（多个线程切换需消耗资源），所以多线程对CPU密集型代码并不友好。        

IO密集操作，IO操作会进行IO等待，开启多线程后线程A等待时，自动切换到线程B，最大化利用CPU，提升程序执行效率。所以python的多线程对IO密集型代码比较友好。

但是多核多线程存在线程颠簸，线程极可能唤醒后又继续等待调度。所以多核更应考虑采用多进程。

import re
import requests
from requests.exceptions import RequestException
from multiprocessing import Pool

def get_one_page(url):
    try:
        user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                     'Chrome/64.0.3282.140 Safari/537.36'
        headers = {'User-Agent': user_agent}
        response = requests.get(url, headers = headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None


def parser(text):
    rule = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?'
                      +'title="(.*?)" class.*?"star">(.*?)</p>.*?releasetime">(.*?)</p>'
                      +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>', re.S)
    contents = re.findall(rule,text)
    for item in contents:
        yield {
            'rank': item[0],
            'name': item[1],
            'actor': item[2].strip()[3:],
            'time': item[3][5:],
            'score': item[4]+item[5]
        }
    return contents

def save2file(contents):
    with open('TOP100榜单.txt','a',encoding='utf-8') as f:
        pattern = ('排名:%8s   片名：%4s   主演：%4s   上映时间：%4s    评分：%4s'
                    %(contents.get('rank'),contents.get('name'),contents.get('actor'),contents.get('time'),contents.get('score')))
        f.write(pattern + '\n')
        f.close()

def main(num):
    url = 'http://maoyan.com/board/4?offset=' + str(num)
    text = get_one_page(url)
    contents = parser(text)
    for each in contents:
        save2file(each)

if __name__ == '__main__':
    pool = Pool()
    pool.map(main,[i*10 for i in range(10)])