正则抓取猫眼TOP100电影的海报

1，打开猫眼电影TOP100的榜单网址：

http://maoyan.com/board/4

2，Google Chrome 浏览器中按F12，打开开发者面板，使用Network:

此时什么也没有。

3，回到榜单的原始页面，按下F5进行刷新，此时再看开发者面板中的Network中会有信息流：

通过查找看到每条电影的相关信息均在一个<dd></dd>中，上图中标明了电影海报超链接的位置和电影名称的位置。

可以用正则表达式提取出相关的信息。

4，电影Top100总共有10页，每页10条，每页的网址有规律：

第1,2,3,...10页的网址
http://maoyan.com/board/4?offset=0
http://maoyan.com/board/4?offset=10
http://maoyan.com/board/4?offset=20
...
http://maoyan.com/board/4?offset=90

offset=后面的数字0、10、20、。。。90分别对应第1,2,3，。。。10页。

因此，外层循环控制页数，内层循环控制每页中电影的网址，可完成对每个电影的海报进行下载。

5，代码：

# 猫眼电影的TOP100电影海报下载
# 第1,2,3,...10页的网址
# http://maoyan.com/board/4?offset=0
# http://maoyan.com/board/4?offset=10
# http://maoyan.com/board/4?offset=20
# ...
# http://maoyan.com/board/4?offset=90
import requests
import re
import random
import time
import os


def doanload_onepage(offset):
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    headers = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
            }
    response = requests.get(url, headers=headers)
    html = response.text
#   print(html)

    pattern = re.compile('<dd>.*?data-src="(.*?)".*?"name"><a.*?>(.*?)</a>.*?</dd>', re.S)    # 提取电影的海报链接和名称
    movies = re.findall(pattern, html)
    print(movies)
    print(type(movies))
    file_path = r'F:\MaoYaoTop100Movies'
    if not os.path.exists(file_path):
        os.makedirs(file_path)    # 如果存储路径不存在，则进行创建
    os.chdir(file_path)           # 改变存储路径到F:\MaoYaoTop100Movies
    for item in movies:
        href = item[0]
        name = item[1]
        print(href)
        print(name)
        response = requests.get(url=href, headers=headers)
        content = response.content
        picture_name = name + '.jpg'
        with open(picture_name, 'wb') as f:
            f.write(content)
        time.sleep(random.random() * 3)
    print('第{}页下载完毕.'.format(int(offset/10+1)))
    time.sleep(random.random() * 9)


if __name__ == '__main__':
    pages = 10    # 总共10页
    for i in range(pages):
        doanload_onepage(offset=i * 10)
    print('====Top100电影海报下载完毕====')

过程：

下载的目录文件：

至此，利用正则表达式下载猫眼Top100的电影海报成功完成。

参考：

https://github.com/Python3WebSpider/MaoYan