Python 爬取网站上的图片保存到本地

最新推荐文章于 2024-04-17 18:45:46 发布

Sitin涛哥

最新推荐文章于 2024-04-17 18:45:46 发布

阅读量1.2k

点赞数 16

分类专栏： Python 文章标签： python 开发语言

本文链接：https://blog.csdn.net/wuShiJingZuo/article/details/135474035

版权

Python 专栏收录该内容

1219 篇文章 36 订阅

订阅专栏

更多资料获取

📚 个人网站：ipengtao.com

在网络时代，图片是网页和应用程序中不可或缺的一部分。有时，需要从网站上获取图片并保存到本地，以供进一步分析或展示。本文将详细介绍如何使用Python编写爬虫来爬取网站上的图片，并将其保存到本地。将使用Python的 requests 库来获取网页内容，以及 BeautifulSoup 库来解析网页，然后使用 urllib 库来下载图片。以下是本文的详细步骤和示例代码。

安装必要的库

确保已经安装了以下Python库：

requests：用于发送HTTP请求，获取网页内容。
BeautifulSoup4：用于解析HTML网页，提取图片链接。
urllib：用于下载图片并保存到本地。

可以使用以下命令来安装这些库：

pip install requests beautifulsoup4

编写Python爬虫

Python脚本功能：

发送HTTP GET请求，获取网页内容。
使用 BeautifulSoup 解析HTML，提取图片链接。
使用 urllib 下载图片并保存到本地。

以下是一个示例Python脚本，演示了如何实现这些步骤：

import requests
from bs4 import BeautifulSoup
import os
import urllib

# 定义目标网页的URL
url = "https://example.com"  # 请将此处替换为您要爬取图片的网址

# 发送HTTP GET请求，获取网页内容
response = requests.get(url)
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(response.text, 'html.parser')
    # 查找所有的图片标签
    img_tags = soup.find_all('img')
    # 创建目录用于保存图片
    os.makedirs('downloaded_images', exist_ok=True)
    
    # 遍历所有图片标签
    for img_tag in img_tags:
        # 获取图片的URL
        img_url = img_tag.get('src')
        # 拼接完整的图片URL
        if img_url and not img_url.startswith('data:'):
            img_url = urllib.parse.urljoin(url, img_url)
            # 获取图片的文件名
            img_name = os.path.basename(img_url)
            # 下载图片并保存到本地
            img_path = os.path.join('downloaded_images', img_name)
            urllib.request.urlretrieve(img_url, img_path)
            print(f"下载图片：{img_name}，保存到{img_path}")
else:
    print("无法访问网页")

请将上述代码中的 url 替换为要爬取图片的网址。这个脚本将下载网页中的所有图片并保存到名为 downloaded_images 的目录中。

运行Python脚本

保存上述代码为一个Python文件，例如 download_images.py，然后在命令行中运行它：

python download_images.py

脚本将会开始下载网页中的所有图片，并保存到 downloaded_images 目录中。如果想要下载不同网页上的图片，只需修改 url 变量的值即可。

高级用法和注意事项

在前面的示例中，已经演示了如何基本地爬取网站上的图片并保存到本地。以下是一些高级用法和注意事项，以更好地应用这一技巧：

1. 图片过滤

有些网页上包含大量图片，可能只对特定类型或大小的图片感兴趣。可以在爬取图片之前添加筛选条件，只下载符合条件的图片。

# 例如，只下载宽度大于等于500像素的图片
if img_tag.get('width') and int(img_tag.get('width')) >= 500:
    # 下载图片并保存到本地
    # ...

2. 多线程下载

如果要下载大量图片，可以考虑使用多线程来加速下载过程，以提高效率。Python提供了多线程库threading，可以用于并行下载图片。

3. 异常处理

在爬取网站上的图片时，始终要注意异常处理。例如，如果图片的URL无效或无法下载，应该捕获异常并进行适当的处理，以避免程序崩溃。

4. 网站的Robots.txt文件

在爬取网站上的内容之前，请检查该网站的robots.txt文件，以了解是否有爬取限制或禁止的规则。遵守网站的规则是良好的网络公民行为。

5. 用户代理

有些网站可能会检测爬虫程序并限制其访问。可以设置一个用户代理，让爬虫程序看起来更像是普通的浏览器访问。

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
response = requests.get(url, headers=headers)