Python爬虫——利用Scrapy批量下载图片

最新推荐文章于 2024-10-13 12:11:32 发布
最新推荐文章于 2024-10-13 12:11:32 发布
阅读量1.1k 收藏 15
点赞数 27
分类专栏： 程序员 文章标签： python 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83817971/article/details/138031328
版权
本文详细描述了一种使用Scrapy框架爬取Win4000网站风景分类图片的方法，包括XPath选择器的使用、页面结构分析、模拟浏览器行为和设置下载延迟。作者还展示了如何构造ItemPipeline来下载图片并处理可能的错误。
摘要由CSDN通过智能技术生成

  1. 解析出实体（Item）,则交给实体管道进行进一步的处理；

  2. 解析出的是链接（URL）,则把URL交给调度器等待抓取。

页面结构分析

  1. 首先查看目标页面，可以看到包含多个主题，选取感兴趣主题，本项目以“风景”为例(作为练习，也可以通过简单修改，来爬取所有模块内图片)。

目标页面

  1. 在“风景”分类页面，可以看到每页包含多个专题，利用开发者工具，可以查看每个专题的URL，拷贝相应XPath，利用Xpath的规律性，构建循环，用于爬取每个专题内容。

在这里插入图片描述

查看不同专题的XPath

/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[1]/a

/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[2]/a

利用上述结果，可以看到li[index]中index为专题序列。因此可以构建Xpath列表如下：

item_selector = response.xpath(‘/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li/a/@href’)

  1. 利用开发者工具，可以查看下一页的URL，拷贝相应XPath用于爬取下一页内容。

在这里插入图片描述

查看“下一页”的XPath

/html/body/div[3]/div/div[3]/div[1]/div[2]/div/a[5]

因此可以构建如下XPath：

next_selector = response.xpath(‘//a[@class=“next”]’)

  1. 点击进入专题，可以看到具体图片，通过查看图片XPath，用于获取图片地址。

在这里插入图片描述

构建图片XPath

response.xpath(‘/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src’).extract_first()

  1. 可以通过标题和图片序列构建图片名。

在这里插入图片描述

在这里插入图片描述

利用序号XPath构建图片在列表中的序号

index = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()’).extract_first()

利用标题XPath构建图片标题

title = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()’).extract_first()

利用图片标题title和序号index构建图片名

name = title + ‘_’ + index + ‘.jpg’

    <
最低0.47元/天 解锁文章
用scrapy爬取下载某图片网站的全部图片
08-20
用scrapy爬取下载某图片网站的全部图片。代码中已经去除了具体网站的信息，代码只供学习用。
python爬虫项目——自动批量抓取m3u8网页视频
10-14
Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务，特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频，这是一个非常实用的技能，特别是对于那些需要收集网络视频数据的人来说。m3u8是一...
电脑技巧：推荐一款实用的图片批量下载
最新发布
10-13 408
Extreme Picture Finder是一款非常简单易用的网络图片批量下载工具，通过这款软件可以在网络上轻松下载各种你需要的图片，比如风景图，汽车图，动漫图等，可以下载高清的图片壁纸，支持在线的网页图片搜索，创建新的搜索项目，输入图片的相关关键词，然后选择需要的搜索模式以及搜索引擎，就可以快速从免费的网站搜索并下载你想要的图片。：Extreme Picture Finder 可以对下载的图片进行预览，方便用户选择需要保存的图片。：该软件支持批量下载，用户可以一次性下载多张图片。
Python爬虫——利用Scrapy批量下载图片，理论+实战双管齐下
m0_60147147的博客
03-22 2953
引擎(Scrapy)：核心组件，处理系统的数据流处理，触发事务。调度器(Scheduler)：用来接受引擎发出的请求, 压入队列中, 并在引擎再次请求的时候返回。由URL组成的优先队列, 由它来决定下一个要抓取的网址是什么，同时去除重复的网址。下载器(Downloader)：用于下载网页内容, 并将网页内容返回给Spiders。爬虫(Spiders)：用于从特定的网页中提取自己需要的信息, 并用于构建实体(Item)，也可以从中提取出链接,让Scrapy继续抓取下一个页面。
scrapy 下载图片 ImagesPipeline
热门推荐
QZC295919009的专栏
01-13 1万+
http://segmentfault.com/q/1010000000413334 http://bbs.byr.cn/#!article/Python/4379?p=1
python爬虫下载文件
hjw1542254356的博客
01-12 2145
python爬虫下载文件下载东西和访问网页差不多,这里以下载我以前做的一个安卓小游戏为例 地址为:http://hjwachhy.site/game/only_v1.1.1.apk首先下载到内存# coding: UTF-8 import requests url="http://hjwachhy.site/game/only_v1.1.1.apk" r=requests.get(url) pri
python利用scrapy下载图片
chx_66的博客
12-03 1942
编写配置文件 pipelines文件编写 items文件编写 spider核心代码编写
使用scrapy下载图片
yujinlong2002的博客
12-28 913
scrapy是python中比较常用的爬虫框架，下面让我们了解一下如何用scrapy,去下载保存图片对于安装scrapy,本文就是不在叙述安装过程。
scrapy下载图片
12-21
scrapy下载图片，scrapy下载图片，scrapy下载图片 scrapy下载图片，scrapy下载图片，scrapy下载图片
scrapy批量下载图片
Mr_XiaoZhang的博客
07-12 351
1，spiders 业务处理 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from ..items import YmxItem class SbSpider(scrapy.Spider): name = 'sb' base_url = 'https://www.mzitu.com/' start_urls...
Python 爬取校花网资源、批量下载图片，scrapy 框架 入门经典
12-29
Python 爬取校花网资源、批量下载图片，scrapy 框架 入门经典 https://blog.csdn.net/qq_31939617/article/details/85212997
python scrapy 爬虫 下载并保存图片
08-17
爬取某网站的汽车图片，并且分类保存到本地，代码简单明了，直接运行即可。
【实例】爬虫：下载图片
Jinming Su
04-15 689
#coding:utf8 import urllib2 import re import os import urllib#record all url fileurl = open("down_url.txt","w") fileurl.write("************start**************")#origin page youxunnet temp = "http://pi
爬虫 scrapy图片下载
weixin_30673715的博客
08-09 404
彼岸网 图片下载 img.py # -*- coding: utf-8 -*- import scrapy from imgPro.items import ImgproItem class ImgSpider(scrapy.Spider): name = 'img' # allowed_domains = ['www.xxx.com'] ...
批量下载图片—（基于scrapy框架）
人类之奴
08-19 396
1.引言 爬取摄图网插画栏目中各个类目下的全部图片。 要求：将所有爬取的图片保存至以各自所属类别命名的文件夹中。 2.流程分析 首先这个任务属于一个两层网络爬虫，因为实际图片的下载路径位于第二层，所以我们必须从第一层网页中获取第二层网页的URL，接着从第二层网页中抓取各个图片的下载地址。 上图展示的网页是我们初始请求的网页，其中每个图片对应一个插画类目，共100多个类目；我们需要请求该网页，并抓取每个插画类目对应的URL。 由上图CSS选择器定位情况，我们知道一共有120个插画类目，每一个类目都存储在&
python爬虫08：scrapy下载图片
lafea的博客
08-05 222
scrapy下载图片 可以去看scrapy官方文档学习如何配置来下载文件 https://docs.scrapy.org/en/latest/topics/media-pipeline.html 要挂梯子 如果要下载cnblogs新闻页封面图片，不妨先在工作目录下建立一个images文件夹，之后要修改一下settings.py 头部加上 import sys import os 中间修改成 # Configure item pipelines # See https://docs.scrapy.org/e
Python爬虫基础与Scrapy框架实战
"Python爬虫基础，包括Scrapy框架，Items，Xpath等内容，以及爬虫的定义和工作过程" Python爬虫是一种自动化程序，用于从互联网上抓取大量信息，构建网页内容的索引，或者进行数据分析。网络爬虫通过URL链接遍历...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>