Python——利用Scrapy批量下载图片【转】

最新推荐文章于 2024-05-16 11:47:28 发布
最新推荐文章于 2024-05-16 11:47:28 发布
阅读量1.9w 收藏 12
点赞数
分类专栏： 编程相关知识总结 数据分析 文章标签： python 爬虫 scrapy
原文链接：https://blog.csdn.net/LOVEmy134611/article/details/115675086
版权

Python爬虫——利用Scrapy批量下载图片

Scrapy下载图片项目介绍

Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以通过定制化的修改来满足不同的爬虫需求。本项目利用Scrapy 框架下载精美壁纸图片，爬取网站为“美桌壁纸”。

使用Scrapy下载图片

项目创建

首先在终端创建项目

# win4000为项目名
$ scrapy startproject  win4000

该命令将创建下述项目目录。

项目预览

查看项目目录

  • win4000
    • win4000
      • spiders
        • __init__.py
      • __init__.py
      • items.py
      • middlewares.py
      • pipelines.py
      • settings.py
    • scrapy.cfg

创建爬虫文件

进入spiders文件夹，根据模板文件创建爬虫文件

$ cd win4000/win4000/spiders
# pictures 为 爬虫名
$ scrapy genspider pictures "win4000.com"

项目组件介绍

  1. 引擎(Scrapy)：核心组件，处理系统的数据流处理，触发事务。
  2. 调度器(Scheduler)：用来接受引擎发出的请求, 压入队列中, 并在引擎再次请求的时候返回。由URL组成的优先队列, 由它来决定下一个要抓取的网址是什么，同时去除重复的网址。
  3. 下载器(Downloader)：用于下载网页内容, 并将网页内容返回给Spiders。
  4. 爬虫(Spiders)：用于从特定的网页中提取自己需要的信息, 并用于构建实体(Item)，也可以从中提取出链接,让Scrapy继续抓取下一个页面
  5. 管道(Pipeline)：负责处理Spiders从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被Spiders解析后，将被发送到项目管道。
  6. 下载器中间件(Downloader Middlewares)：位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
  7. 爬虫中间件(Spider Middlewares)：介于Scrapy引擎和爬虫之间的框架，主要工作是处理Spiders的响应输入和请求输出。
  8. 调度中间件(Scheduler Middewares)：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy爬虫流程介绍

Scrapy基本爬取流程可以描述为UR2IM(URL-Request-Response-Item-More URL)：

  1. 引擎从调度器中取出一个链接(URL)用于接下来的抓取；
  2. 引擎把URL封装成一个请求(Request)传给下载器；
  3. 下载器把资源下载下来，并封装成应答包(Response)；
  4. 爬虫解析Response；
  5. 解析出实体（Item）,则交给实体管道进行进一步的处理；
  6. 解析出的是链接（URL）,则把URL交给调度器等待抓取。

页面结构分析

  1. 首先查看目标页面，可以看到包含多个主题，选取感兴趣主题，本项目以“风景”为例(作为练习，也可以通过简单修改，来爬取所有模块内图片)。
    目标页面

  2. 在“风景”分类页面，可以看到每页包含多个专题，利用开发者工具，可以查看每个专题的URL，拷贝相应XPath，利用Xpath的规律性，构建循环，用于爬取每个专题内容。
    在这里插入图片描述

    # 查看不同专题的XPath
# /html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[1]/a
# /html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[2]/a

    利用上述结果，可以看到li[index]中index为专题序列。因此可以构建Xpath列表如下：

    item_selector = response.xpath('/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li/a/@href')

  3. 利用开发者工具，可以查看下一页的URL，拷贝相应XPath用于爬取下一页内容。
    在这里插入图片描述

    # 查看“下一页”的XPath
# /html/body/div[3]/div/div[3]/div[1]/div[2]/div/a[5]

    因此可以构建如下XPath：

    next_selector = response.xpath('//a[@class="next"]')

  4. 点击进入专题，可以看到具体图片，通过查看图片XPath，用于获取图片地址。
    在这里插入图片描述

    # 构建图片XPath
response.xpath('/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src').extract_first()

  5. 可以通过标题和图片序列构建图片名。
    在这里插入图片描述
    在这里插入图片描述

    # 利用序号XPath构建图片在列表中的序号
index = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()').extract_first()
# 利用标题XPath构建图片标题
title = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()').extract_first()
# 利用图片标题title和序号index构建图片名
name = title + '_' + index + '.jpg'

  6. 同时可以看到，在专题页面下，包含了多张图片，可以通过点击“下一张”按钮来获取下一页面URL，此处为了简化爬取过程，可以通过观察URL规律来构建每一图片详情页的URL，来下载图片。
    在这里插入图片描述

    # 第一张图片详情页地址
# http://www.win4000.com/wallpaper_detail_45401.html
# 第二张图片详情页地址
# http://www.win4000.com/wallpaper_detail_45401_2.html

    因此可以通过首页地址和图片序号来构建每一张图片详情页地址。

    # 第一张图片详情页地址
first_url = response.url
# 图片总数
num = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/em/text()').extract_first()
num = int(num)
for i in range(2,num+1):
next_url = '.'.join(first_url.split('.')[:-1]) + '_' + str(i) + '.html'

定义Item字段（Items.py）

本项目用于下载图片，因此可以仅构建图片名和图片地址字段。

# win4000/win4000/items.py
import scrapy

class Win4000Item(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    url = scrapy.Field()
    name = scrapy.Field()

编写爬虫文件(pictures.py)

代码详解见代码注释。

# win4000/win4000/spiders/pictures.py
import scrapy
from win4000.items import Win4000Item
from urllib import parse
import time

class PicturesSpider(scrapy.Spider):
    name = 'pictures'
    allowed_domains = ['win4000.com']
    start_urls = ['http://www.win4000.com/zt/fengjing.html']
    
    start_urls = ['http://www.win4000.com/zt/fengjing.html']
    # cookie用于模仿浏览器行为
    cookie={
                "t":"29b7c2a8d2bbf060dc7b9ec00e75a0c5",
                "r":"7957",
                "UM_distinctid":"178c933b40e9-08430036bca215-7e22675c-1fa400-178c933b40fa00",
                "CNZZDATA1279564249":"1468742421-1618282415-%7C1618282415",
                "XSRF-TOKEN":"eyJpdiI6Ik8rbStsK1Fwem5zR2YzS29ESlI2dmc9PSIsInZhbHVlIjoiaDl5bXp5b1VvWmdSYklWWkEwMWJBK0FaZG9OaDA1VGQ2akZ0RDNISWNDM0hnOW11Q0JTVDZFNlY4cVwvSTBjQlltUG9tMnFUcWd5MzluUVZ0NDBLZlJuRWFuaVF0U3k0XC9CU1dIUzJybkorUEJ3Y2hRZTNcL0JqdjZnWjE5SXFiNm8iLCJtYWMiOiI2OTBjOTkzMTczYWQwNzRiZWY5MWMyY2JkNTQxYjlmZDE2OWUyYmNjNDNhNGYwNDAyYzRmYTk5M2JhNjg5ZmMwIn0%3D",
                "win4000_session":"eyJpdiI6Inc2dFprdkdMTHZMSldlMXZ2a1cwWGc9PSIsInZhbHVlIjoiQkZHVlNYWWlET0NyWWlEb2tNS0hDSXAwZGVZV05vTmY0N0ZiaFdTa1VRZUVqWkRmNWJuNGJjNkFNa3pwMWtBcFRleCt4SUFhdDdoYnlPMGRTS0dOR0tkdmVtVDhzUWdTTTc3YXpDb0ZPMjVBVGJzM2NoZzlGa045Qnl0MzRTVUciLCJtYWMiOiI2M2VmMTEyMDkxNTIwNmJjZjViYTg4MjIwZGIxNTlmZWUyMTJlYWZhNjk5ZmM0NzgyMTA3MWE4MjljOWY3NTBiIn0%3D"
            }
    
    def start_requests(self):
        """
        重构start_requests函数，用于发送带有cookie的请求，模仿浏览器行为
        """
        yield scrapy.Request('http://www.win4000.com/zt/fengjing.html', callback=self.parse, cookies=self.cookie)

    def parse(self,response):
    	# 获取下一页的选择器
        next_selector = response.xpath('//a[@class="next"]')
        for url in next_selector.xpath('@href').extract():
            url = parse.urljoin(response.url,url)
            # 暂停执行，防止网页的反爬虫程序
            time.sleep(3)
            # 用于爬取下一页
            yield scrapy.Request(url, cookies=self.cookie)
        # 用于获取每一专题的选择器
        item_selector = response.xpath('/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li/a/@href')
        for item_url in item_selector.extract():
            item_url = parse.urljoin(response.url,item_url)
            #print(item_url)
            time.sleep(3)
            # 请求专题页面，并利用回调函数callback解析专题页面
            yield scrapy.Request(item_url,callback=self.parse_item, cookies=self.cookie)
            
    def parse_item(self,response):
        """
        用于解析专题页面
        """
        # 由于Scrapy默认并不会爬取重复页面，
        # 因此需要首先构建首张图片实体，然后爬取剩余图片，
        # 也可以通过使用参数来取消过滤重复页面的请求
        # 首张图片实体
        item = Win4000Item()
        item['url'] = response.xpath('/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src').extract_first()
        index = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()').extract_first()
        item['name'] = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()').extract_first() + '_' + index + '.jpg'
        yield item
        first_url = response.url
        num = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/em/text()').extract_first()
        num = int(num)
        for i in range(2,num+1):
            next_url = '.'.join(first_url.split('.')[:-1]) + '_' + str(i) + '.html'
            # 请求其余图片，并用回调函数self.parse_detail解析页面
            yield scrapy.Request(next_url,callback=self.parse_detail,cookies=self.cookie)

    def parse_detail(self,response):
        """
        解析图片详情页面，构建实体
        """
        item = Win4000Item()
        item['url'] = response.xpath('/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src').extract_first()
        index = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()').extract_first()
        item['name'] = response.xpath('/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()').extract_first() + '_' + index + '.jpg'
        yield item

修改配置文件settings.py

修改win4000/win4000/settings.py中的以下项。

BOT_NAME = 'win4000'

SPIDER_MODULES = ['win4000.spiders']
NEWSPIDER_MODULE = 'win4000.spiders'
# 图片保存文件夹
IMAGES_STORE = './result'


# Crawl responsibly by identifying yourself (and your website) on the user-agent
# 用于模仿浏览器行为
USER_AGENT = 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:87.0) Gecko/20100101 Firefox/87.0'

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

# Configure a delay for requests for the same website (default: 0)
# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
# 下载时延
DOWNLOAD_DELAY = 3

# Disable cookies (enabled by default)
# 是否启用Cookie
COOKIES_ENABLED = True

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
    'win4000.pipelines.Win4000Pipeline': 300,
}

修改管道文件pipelines.py用于下载图片

修改win4000/win4000/pipelines.py文件。

from itemadapter import ItemAdapter
from scrapy.pipelines.images import ImagesPipeline
import scrapy
import os
from scrapy.exceptions import DropItem

class Win4000Pipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        # 下载图片，如果传过来的是集合需要循环下载
        # meta里面的数据是从spider获取，然后通过meta传递给下面方法：file_path
        yield scrapy.Request(url=item['url'],meta={'name':item['name']})

    def item_completed(self, results, item, info):
        # 是一个元组，第一个元素是布尔值表示是否成功
        if not results[0][0]:
            with open('img_error_name.txt','a') as f_name:
                error_name = str(item['name'])
                f_name.write(error_name)
                f_name.write('\n')

            with open('img_error_url.txt','a') as f_url:
                error_url = str(item['url'])
                f_url.write(error_url)
                f_url.write('\n')
                raise DropItem('下载失败')
        return item

     # 重命名，若不重写这函数，图片名为哈希，就是一串乱七八糟的名字
    def file_path(self, request, response=None, info=None):
        # 接收上面meta传递过来的图片名称
        filename = request.meta['name']
        return filename

编写爬虫启动文件begin.py

在win4000目录下创建begin.py

# win4000/begin.py
from scrapy import cmdline

cmdline.execute('scrapy crawl pictures'.split())

最终目录树

  • win4000
    • begin.py
    • win4000
      • spiders
        • __init__.py
        • pictures.py
      • __init__.py
      • items.py
      • middlewares.py
      • pipelines.py
      • settings.py
    • scrapy.cfg

项目运行

进入begin.py所在目录，运行程序，启动scrapy进行爬虫。

$ python3 begin.py

爬取结果

结果

后记

转：https://blog.csdn.net/LOVEmy134611/article/details/115675086

A little strawberry
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Python爬虫——利用Scrapy批量下载图片，理论+实战双管齐下
m0_60147147的博客
03-22 2195
引擎(Scrapy)：核心组件，处理系统的数据流处理，触发事务。调度器(Scheduler)：用来接受引擎发出的请求, 压入队列中, 并在引擎再次请求的时候返回。由URL组成的优先队列, 由它来决定下一个要抓取的网址是什么，同时去除重复的网址。下载器(Downloader)：用于下载网页内容, 并将网页内容返回给Spiders。爬虫(Spiders)：用于从特定的网页中提取自己需要的信息, 并用于构建实体(Item)，也可以从中提取出链接,让Scrapy继续抓取下一个页面。
python利用scrapy下载图片
chx_66的博客
12-03 1900
编写配置文件 pipelines文件编写 items文件编写 spider核心代码编写
使用 Scrapy 下载图片的两种方式
最新发布
一勺菠萝丶的博客
05-16 458
直接链接下载：适用于绝大多数公开访问的图片文件，操作简单且性能较好。通过下载链接下载：适用于需要通过验证或时效性链接获取图片的情况，安全性更高但操作稍复杂。
Python实现批量图片下载及去重处理
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
04-13 1315
下载图片后，我们可以使用 hashlib 库对图片的内容做哈希处理，并将处理后的哈希值作为图片的唯一识别标志，以便进行去重处理。在对图片进行去重处理时，我们需要将下载的图片与已有的图片进行比对，可以使用字典或集合等数据结构来存储已有图片的哈希值，以便查找和比对。在所有的图片下载完成后，我们可以将下载的图片的文件名或哈希值保存到本地文本文件中，以备后续查看或处理。Python 是一种非常流行的编程语言，也是开发爬虫应用的首选，本文将介绍如何使用 Python 下载图片，并对下载的图片进行去重处理。
爬虫之利用Scrapy进行图片的爬取
weixin_46297209的博客
12-07 2629
爬虫之利用Scrapy进行图片的爬取 一：Scrapy自带管道方法爬取 创建爬虫文件 scrapy genspider image360 image360.com 修改配置文件settings.py 配置文件中的图片管道类是scrapy自定义好的，不需我们编写，直接用就行了 ITEM_PIPELINES = { # 'reptile.pipelines.ReptilePipeline': 300, 'scrapy.pipelines.images.ImagesPipeline'
python爬虫,爬取下载图片
qq_41974199的博客
03-21 6056
python爬虫,爬取下载图片 分别引入以下三个包 from urllib.request import urlopen from bs4 import BeautifulSoup import requests 如图，随便搜一个网站，这里测试用的 http://wmtp.net/tupian/haokan from urllib.request import urlopen from b...
python爬虫项目——自动批量抓取m3u8网页视频
10-14
Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务，特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频，这是一个非常实用的技能，特别是对于那些需要收集网络视频数据的人来说。m3u8是一...
Python 抓取 图片 下载地址
05-15
为了批量下载，我们可以把上述代码整合起来，形成一个完整的过程： ```python def crawl_and_download_images(base_url, output_dir): response = requests.get(base_url) soup = BeautifulSoup(response.text, '...
Python爬虫实战案例源码-批量爬取今日头条街拍美图
07-14
接下来，为了批量下载这些图片，我们可以使用`requests`库的另一个功能——`get`方法的`stream`参数，这可以让我们逐步接收大文件，避免一次性加载全部内容导致内存溢出。同时，我们还需要一个保存图片的逻辑，如...
python 批量获取51job，拉钩，智联招聘职位信息.zip
01-01
在这个案例中，我们关注的是一个名为"python 批量获取51job，拉钩，智联招聘职位信息.zip"的压缩包文件，它涉及到使用Python编程语言来批量获取三个知名招聘网站——51job、拉勾网和智联招聘的职位信息。这样的工具...
Python自动办公实例-批量更改Excel文件中200多个工作表的内容.zip
11-30
本实例"Python自动办公实例-批量更改Excel文件中200多个工作表的内容"展示了如何利用Python来实现对Excel文件的批量操作，特别是针对包含众多工作表的情况。 首先，我们需要引入Python的pandas库，它是处理数据的...
Python 爬取校花网资源、批量下载图片，scrapy 框架 入门经典
12-29
Python 爬取校花网资源、批量下载图片，scrapy 框架 入门经典 https://blog.csdn.net/qq_31939617/article/details/85212997
python 抓取一个网站所有图片并保存
04-23
python 抓取一个网站所有图片并保存。 python 抓取一个网站所有图片并保存 python 爬虫
python爬虫入门：搜索和批量下载图片
xztli的博客
07-09 7257
目录python爬虫批量下载图片前言一、具体流程1、使用必应搜索图片2、实现方法导入模块具体代码二、效果演示 python爬虫批量下载图片 前言 本篇文章以在必应下载硬币图片为例，实现python爬虫搜索和批量下载图片。 以下为本篇文章的正文内容。 一、具体流程 1、使用必应搜索图片 和上篇文章实现小说下载一样，首先我们要查看搜索页面的HTML。如下图右侧所示，那个’murl‘就是第一张图所对应的网址。 但是当我们将页面往下拉时，从下图所示位置的内容和上图对比可以发现该内容中的网址发生了改变。 复制该网
Python爬虫实战（七）——批量下载4K高清小姐姐图片（附上完整源码）
热门推荐
努力让自己发光，对的人才能迎着光而来
12-18 29万+
Python爬虫实战（七）——批量下载4K高清小姐姐图片（附上完整源码）
python爬图一篇过（一）【超·详细】：selenium库：webdriver环境配置+新手基础知识
qq_53021454的博客
09-29 1824
前言： 一个月前，博主在学过python（一年前）、会一点网络（能按F12）的情况下，凭着一腔编程改变世界的热血和对把电脑变成工具人的兴趣，开始了python爬虫的学习。一路过来可以说走了相当多弯路，但是前不久终于成功！！！（泪目）所以今天萌新我第一次斗胆在CSDN上开一个栏目，分享我的python图片爬虫全实现过程，内心真的激动！！！希望过路大神能多多指教和鼓励，写得不对的地方请直接指出！ 老规矩上第一章的思维导图 所谓之所以要基于selenium库爬虫，是因为现在网...
python爬虫(自动下载图片)
qq_48082548的博客
05-13 3349
爬虫第一步下载第三方工具(requests包): win+R 输入cmd点击确定或回车 输入以下命令下载requests包: requests包是python爬虫常用的包 他的下载方式是 pip install requsts如果觉得下载太慢了在后面可以加个镜像源会有很大的提升 例:pip install requsts -ihttps://pypi.tuna.tsinghua.edu.cn/simple 下面是五个常见的镜像源用那个都可以 清华：https://pypi.tuna.ts...
scrapy图片爬取--使用ImagesPipline全站爬取图片
qq_42021166的博客
12-23 176
scrapy图片爬取--使用ImagesPipline全站爬取图片
Scrapy爬取图片并保存
u010814042的博客
07-02 1万+
Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。本文接豆瓣top250电影，爬取海报图片。  一、ImagesPipeline的工作流程 首先在爬虫项目中获取图片的image_urls item[‘image_urls’]进入管道中 当项目进入 ImagesPipeline，image_urls 组内的URLs将
爬虫教程——用Scrapy爬取豆瓣TOP250
06-08
好的，我可以为您提供爬虫教程，以下是使用Scrapy框架爬取豆瓣电影TOP250的步骤： 1. 创建Scrapy项目 首先需要使用Scrapy命令行工具创建一个Scrapy项目，可以使用以下命令： ``` scrapy startproject douban_top...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值