爬虫入门（9）——Bing美图爬虫

1.错误

python3 raise HTTPError(req.full_url, code, msg, hdrs, fp) urllib.error.HTTPError: HTTP Error 403: Forbid

或是下载的图片打不开

原因：
headers未加，或是添加的内容少了，比如Referer

2.bing美图爬取

这是一个静态的网页，只需要获取图片的链接，就可以下载了。

2.1.网页分析

获取每个页面的链接。
http://bing.plmeizi.com/?page=1
http://bing.plmeizi.com/?page=2

2.2.获取图片的网址

根据正则表达式，获得图片的地址

src=//bimgs.plmeizi.com/images/bing.*?-listpic

.*：表示匹配任意多的符号
？：表示不贪心匹配，出现多个模式，返回多个结果

注意在请求下载时，请求头的书写，不然无法下载图片。

3.代码

# coding: utf-8
# Author: shelley
# 2020/9/18,11:51
import requests
import re

def get_all_images(end_page):