使用reques+正则表达式t爬取猫眼电影

import requests
from requests.exceptions import RequestException
import re
import json

获取top100的html代码
status_code 网页状态码，200表示正常打开网页

def get_one_page(url):
    try:
        response=requests.get(url,headers=headers)
        if response.status_code==200:
            return response.text
    except RequestException:
        return none

使用正则表示式，提取我们需求爬取的信息
yields生成器，生成器可迭代

def parse_one_page(html):
    pattern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                        +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)

    items =re.findall(pattern,html)
    for item in items:
        yield{'index':item[0],
              'image':item[1],
              'title':item[2],
              'actor':item[3].strip()[3:],
              'time':item[4].strip()[5:],
              'score':item[5]+item[6]}

主体内容，调用其他函数
设立url

def main(offset):
    url='http://maoyan.com/board/4?offset='+str(offset)
    html=get_one_page(url)
    for item in parse_one_page(html):
         print(item)
         write_to_file(item)

保存下载 的文件，a表示追加文件，将新内容写入文件，如果没有就创建一个文件

def write_to_file(content):
    with open('maoyantop100.txt','a',encoding='utf8') as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')

调用mind函数

if __name__=='__main__':
    for i in range(10):
        main(i*10)