python3抓取猫眼电影（正则表达式）

requests + 正则抓取猫眼电影top列表

分析页面：http://maoyan.com/board/4

目标获取电影标题，演员，上映时间，评分，存到文件里

可以直接在页面中找到电影标题，评分等信息，并且在对应的标签里，可以用bs库抓，或者用正则表达式进行抓取。而排行榜一共有10页，点击一下发现每次都是整页刷新，所以不存在异步加载，而页数和url中的offset参数相关，这样设置不同的offset就能抓完所有的页面啦。

这次主要练习正则表达式的应用,匹配模式r.S 保证可以配到\n，而想要匹配到的内容放在括号里面。

还有yeild的用法:

如果一个函数定义中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator.最难理解的就是generator和函数的执行流程不一样。函数是顺序执行，遇到return语句或者最后一行函数语句就返回。而变成generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行。

在这里获取内容的函数返回一个生成器（生成字典），所以在main函数里面用for循环迭代获得字典。

#-*- coding:utf-8 -*-
'''Zheng 's BUG'''
import json
import re
from multiprocessing.pool import Pool

import requests
from requests.exceptions import RequestException
def get_one_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    #re.S模式保证能匹配到换行符,()里是我们要配的内容
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?'
                          +'integer">(.*?)</i>.*?fraction">(.*?)</i>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        #相当于return一个字典
        yield {
            'index': item[0],
            'img': item[1],
            'title': item[2],
            'actor': item[3].strip()[3:],
            'time': item[4][5:],
            'score': item[5]+item[6]
        }

def save(content):
    with open('maoyan.txt', 'a', encoding='utf-8') as f:
        #数据转换成json格式的字符串
        f.write(json.dumps(content, ensure_ascii=False)+'\n')
        f.close()

def main(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    #print(html)
    for item in parse_one_page(html):
        print(item)
        save(item)
if __name__ == '__main__':
    pool = Pool()
    pool.map(main, [i*10 for i in range(0, 10)])