python实战-爬取斗鱼所有颜值主播头像

#coding:utf-8
import requests
import re
'''
爬取斗鱼所有颜值主播头像
'''
# 使用列表推导式生成要爬取的网页url列表
page_list = ["https://www.douyu.com/gapi/rknc/directory/yzRec/{}".format(i) for i in range(1, 5)]
print(page_list)

# 遍历每一个网页url列表
for page in page_list:

    # 分别对每一个url进行请求
    html_content = requests.get(page).content.decode()

    # 使用正则表达式筛选出所有图片的url并储存到一个列表中
    photo_url_list = re.findall(r'https:.*?\.(?:jpg|png)', html_content)
    # print(photo_url_list)

    # 遍历每一张图片url列表
    for photo_url in photo_url_list:
        # 过滤掉不需要的图片
        if photo_url.endswith("big.jpg"):
            # 使用字符串切片的方式, 提取出图片名称
            photo_name = photo_url.split('/')[-1]
            # print(photo_name)
            # 对每一个图片url进行请求并返回图片的二进制信息
            photo_request = requests.get(photo_url).content
            # 在本地打开一个文件, 将获取的图片信息写进该文件
            with open('./photo/{}'.format(photo_name), 'wb') as f:
                f.write(photo_request)