利用beautifulsoup获取网页图片

抓取图片的时候使用 for image in soup.find_all('img'): 一直返回为空，研究了下发现是因为网页内容是通过JavaScript动态加载的，而不是在初始的HTML响应中包含的。在这种情况下，尝试使用Selenium库来模拟浏览器行为，从而获取动态加载的内容。以下是一个使用Selenium库的示例代码：

import os
from selenium import webdriver
import requests
import time
from bs4 import BeautifulSoup
import re
url = 'www.test.com'

driver=webdriver.Chrome() #由于网页动态加载，使用webdriver模拟浏览器进行加载
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'html.parser')

image_url =[]
for image in soup.find_all('img'):
  if image.get('src') and 'https://cbu01.alicdn.com/img/ibank' in image['src']: #进一步过滤网址
    image_url.append(image['src'])

driver.quit()
# print(image_url) # 输出结果查看

url_list = image_url
save_folder = 'D:\pic'  # 指定保存图片的文件夹路径
if not os.path.exists(save_folder):
    os.makedirs(save_folder)

for i in range(len(url_list)):
    response = requests.get(url_list[i], stream=True)
    image_name = f"{i}.jpg"  # 自动生成图片名称
    with open(os.path.join(save_folder, image_name), "wb") as file:
        for chunk in response.iter_content(chunk_size=1024):
            if chunk:
                file.write(chunk)
    print(f"已保存第 {i + 1} 张图片！")
    time.sleep(1)  #添加等待时间