爬虫学习-爬取图片信息

最新推荐文章于 2022-02-05 11:27:54 发布

传奇小叔叔

最新推荐文章于 2022-02-05 11:27:54 发布

阅读量234

点赞数

文章标签： python

本文链接：https://blog.csdn.net/qq_41702454/article/details/109345061

版权

import requests
import re
import os
if __name__ == '__main__':
    url = 'https://www.qiushibaike.com/imgrank/'   #热图页url
    headers ={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }


    #创建一个文件夹保存所有的图片
    if not os.path.exists('./images'):
        os.mkdir('./images')
    #使用通用爬虫对整个页面进去爬取
    page_text = requests.get(url=url,headers=headers).text
    #对当前页面进行解析
    '''
    <div class="thumb">
    <a href="/article/123730840" target="_blank">
    <img src="//pic.qiushibaike.com/system/pictures/12373/123730840/medium/BVB7JAZ3F1ABVJQ2.jpg" alt="糗事#123730840" class="illustration" width="100%" height="auto">
    </a>
    </div>
    '''
    #创建正则表达式
    ex = '<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>'
    #获取当前页的图片的地址列表
    img_src_list = re.findall(ex,page_text,re.S)    #re.S表示多行匹配
    for src in img_src_list:
        src = 'https:'+src
        #请求数据。context返回二进制数据
        image_data = requests.get(url=src,headers=headers).content
        #生成图片名称
        image_name = src.split('/')[-1]
        #图片存储的路径
        image_path = './images/'+image_name
        with open(image_path,'wb') as fp:
            fp.write(image_data)
            print(image_name,'下载成功！！')