Python爬取网站页面展示图片

在上次尝试了爬取网页的一些文字数据之后，就想在爬取一下网站的图片

那么就开始吧！

我自己选择了一个旅游网站，打算爬取以下展示的图片

基础的代码准备一下，设置需要爬取的url，还有UA检测，然后就是需要用到re模块

import requests
import re

if __name__=="__main__":

    url="https://www.uzai.com/"

    headers = {
   'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N)                      
    AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Mobile 
    Safari/537.36Edg/122.0.0.0"
    }

我首先利用request.get()请求获取一下整张网页的文本数据

然后利用python的正则表达式对图片所在的HTML标签数据内容进行一个获取

    #使用通用爬虫对整张页面进行爬取

    page_text=requests.get(url=url,headers=headers).text

    #使用聚焦爬虫对页面中所有图片进行爬取

    ex='<div class="main2_m_right_list clearfix ".*? src="(.*?)"'

这边涉及python的正则表达式里的知识内容有点多且复杂，往后可以在进行一个补充

表达式作用在这里边可以让我们按特定条件来选择去获取某些内容，比如获取标签中的Src，利用re模块中的findall（），根据所响应的标签内容和表达式条件的选择，返回一个包含src的列表

img_src_list=re.findall(ex,page_text,re.S)
print(img_src_list)

可以打印一下验证是否有爬取到响应的src内容

Tip：有些src的是没有带https：的，需要自己循环拼接一下

接着利用.content来获取图片内容

'https://img5.uzaicdn.com/uz/navigation/productFloorRecommend/ATT0001546758.jpg?imageView2/2/w/263/h/197',

我们发现把src通过split（）方法根据“/”进行分段倒叙截取第六个内容，在根据“?”截取第一个内容，就能够获取到

src中ATT0001546758.jpg这段内容，借此把它作为我们保存图片的名字

    for src in img_src_list:
       
        img_data=requests.get(url=src,headers=headers).content
        
        img_name=src.split("/")[-6]

        img_name = img_name.split("?")[0]

        img_path='./'+img_name

        #持久化储存
        with open(img_path,'wb')as fp:
            fp.write(img_data)
            print(img_name,"下载成功！")

最后保存，点击运行就成功批量下载图片，正常打开啦！

以下是原代码展示

import requests
import re

if __name__=="__main__":

    url="https://www.uzai.com/"
    headers = {
        'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Mobile Safari/537.36 Edg/122.0.0.0"
    }

    #使用通用爬虫对整张页面进行爬取
    page_text=requests.get(url=url,headers=headers).text

    #使用聚焦爬虫对页面中所有图片进行爬取

    ex='<div class="main2_m_right_list clearfix ".*? src="(.*?)"'

    img_src_list=re.findall(ex,page_text,re.S)

    print(img_src_list)

    for src in img_src_list:

        img_data=requests.get(url=src,headers=headers).content

        img_name=src.split("/")[-6]
        img_name = img_name.split("?")[0]

        img_path='./'+img_name

        #持久化储存
        with open(img_path,'wb')as fp:
            fp.write(img_data)
            print(img_name,"下载成功！")