python优美图库高清大图爬取

本次采用 requests  BeautifulSoup 来进行爬取

 网址链接：【风景壁纸】风景桌面壁纸_手机风景壁纸_高清风景壁纸大全 - 优美图库

根据页面源代码的元素显示定位

然后根据request 从服务器获取数据，然后通过BeautifulSoup来解析html中代码片段

find方法会返回匹配指定标签和属性的第一个元素
find_all方法会返回一个包含所有匹配指定标签和属性的元素的列表

输出结果是原页面结果，但是并不是我们想要的链接，则点击原网址的herf 看看和爬取的链接结果有什么不同

修改后

然后点击到新链接，查看源代码，重复同样的操作获取图片src

import os
import requests
from bs4 import BeautifulSoup

# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 目标网址
url = 'https://www.umei.cc/bizhitupian/fengjingbizhi/'

# 发送GET请求
resp = requests.get(url, headers=headers)

# 设置响应的编码格式
resp.encoding = 'utf-8'

# 使用BeautifulSoup解析响应内容
bs = BeautifulSoup(resp.text, 'html.parser')

# 创建一个文件夹来存储下载的图片
folder_name = 'downloaded_images'
os.makedirs(folder_name, exist_ok=True)

# 找到所有的图片链接
alist = bs.find('div', attrs={'class': 'item_list infinite_scroll'}).find_all("a")

n = 1  # 图片编号
visited = set()  # 创建一个集合来存储已经访问过的链接
for i in alist:
    href = "https://www.umei.cc" + i.get("href")
    if href in visited:  # 如果链接已经在集合中，就跳过这个链接
        continue
    visited.add(href)  # 将新的链接添加到集合中

    # 对每个图片链接发送GET请求
    resp1 = requests.get(href, headers=headers)
    resp1.encoding = 'utf-8'
    bs1 = BeautifulSoup(resp1.text,"html.parser")

    # 获取图片的真实地址
    src = bs1.find('div', attrs={'class': 'big-pic'}).find("img").get("src")

    # 设置图片的保存路径
    image_path = os.path.join(folder_name, "图_%s.jpg" % n)

    # 下载图片并保存
    with open(image_path, "wb") as f:
        f.write(requests.get(src).content)

    n += 1  # 图片编号加1

修改了，代码根据爬取的链接，发现同一张图片会多次下载，修改了代码

因为我爬取的图片，不为套图，则爬取的都是单独一张照片，如果看不懂python代码的，我已写好了注释，谢谢