2021-10-21Python之爬虫-正则解析-爬取糗图

最新推荐文章于 2024-10-18 00:00:00 发布

⁢⁢⁢⁢回家的诱惑

最新推荐文章于 2024-10-18 00:00:00 发布

阅读量95

点赞数

文章标签： python 爬虫 pycharm

本文链接：https://blog.csdn.net/qdacm_lxg/article/details/120893906

版权

Python之爬虫-正则解析-爬取糗图

# -*- codeing = utf-8 -*-
# @Time : 2021/9/28 16:18
# @Author : luxiaoguo
# @File : 正则解析.py
# @Software : PyCharm
# 需求：去糗事百科中求图模块下所有图片

import requests
import re
import os
if __name__ == '__main__':
    # 创建文件夹
    if not os.path.exists('./qiutuLibs'):
        os.mkdir('./qiutuLibs')

	//要访问的地址
    url = 'https://www.qiushibaike.com/imgrank/'
	//请求头
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31'

    }

    # 使用通用爬虫对url对应的一整张也页面进行爬取
    page_text = requests.get(url=url, headers=header).text



    # 使用通用爬虫对url对应的所有求图进行解析/提取
    ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div>'
    img_src_list = re.findall(ex,page_text,re.S)   # re.S单行匹配 r.M 多行
    print(img_src_list)

    for src in img_src_list:
        # 拼接出一个完整图片地址
        src = 'https:' + src
        # 请求到二进制图片
        img_data = requests.get(url=src,headers=header).content
        # 生成图片名称
        img_name = src.split('/')[-1]
        imgPath = './qiutuLibs/' + img_name
        with open(imgPath,'wb')as fp:
            fp.write(img_data)
            print(img_name,'下载成功！！！')