图片爬虫简单代码

这是一种通用的爬虫方法。

import os
import requests
from bs4 import BeautifulSoup

# 函数：下载图片
def download_image(url, save_dir, headers, proxies):
    # 发送 GET 请求，包括请求头和代理
    response = requests.get(url, headers=headers, proxies=proxies)
    # 提取文件名
    filename = url.split('/')[-1]
    # 拼接保存路径和文件名
    filepath = os.path.join(save_dir, filename)
    # 保存文件到本地
    with open(filepath, 'wb') as f:
        f.write(response.content)

# 函数：爬取网页上的所有图片并保存到本地
def crawl_images(url, save_dir, headers, proxies):
    # 发送 GET 请求，包括请求头和代理
    response = requests.get(url, headers=headers, proxies=proxies)
    # 解析 HTML 页面
    soup = BeautifulSoup(response.content, 'html.parser')
    # 提取页面中的所有图片链接
    img_links = [link['src'] for link in soup.find_all('img')]
    # 下载图片并保存到本地
    for link in img_links:
        download_image(link, save_dir, headers, proxies)

if __name__ == '__main__':
    # 设置要爬取的网页 URL 和保存目录
    url = 'https://www.example.com'
    save_dir = './images'
    # 设置请求头，伪装成浏览器访问
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    # 设置代理，如果你有代理可以在这里设置
    proxies = {
        'http': 'http://10.10.1.10:3128',
        'https': 'http://10.10.1.10:1080',
    }
    # 创建保存目录
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)
    # 调用函数进行爬取
    crawl_images(url, save_dir, headers, proxies)

这个程序是一个简单的Python网络爬虫，它的目的是从指定的网页URL中下载所有的图片并保存到本地目录。程序主要包含两个函数和一个主执行块：

1. download_image 函数：接收一个图片的URL、保存目录、请求头和代理信息，然后通过发送GET请求下载图片，并将其保存到指定的目录中。

2. crawl_images 函数：接收一个网页的URL、保存目录、请求头和代理信息，然后发送GET请求以获取整个网页的内容。使用BeautifulSoup库解析HTML内容，找到所有的<img>标签，并提取它们的src属性（即图片的URL）。然后，对于每个找到的图片URL，调用download_image函数下载并保存图片。

3. 主执行块：这部分代码首先定义了要爬取的网页URL和图片保存的本地目录。然后，它设置了用户代理（User-Agent）和代理服务器信息，这些信息用来模拟浏览器行为并可能绕过简单的访问限制。如果图片保存目录不存在，程序会创建该目录。最后，调用crawl_images函数开始爬取过程。

整个程序的工作流程是：

• 配置要爬取的网页URL和图片保存目录。
• 配置请求头和代理，以便更好地模拟正常用户的行为。
• 访问网页并解析HTML内容，找到所有图片链接。
• 下载每个图片链接指向的图片文件，并保存到本地指定目录。

这个程序可以作为爬取网页图片的基础模板，根据实际需求进行修改和扩展。