Python爬虫——利用Scrapy批量下载图片，理论+实战双管齐下

最新推荐文章于 2024-09-04 08:30:00 发布
最新推荐文章于 2024-09-04 08:30:00 发布
阅读量2.6k 收藏 21
点赞数 29
分类专栏： 2024年程序员学习 文章标签： python 爬虫 scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60147147/article/details/136927514
版权

  • settings.py

  • scrapy.cfg

创建爬虫文件

进入spiders文件夹，根据模板文件创建爬虫文件

$ cd win4000/win4000/spiders

pictures 为 爬虫名

$ scrapy genspider pictures “win4000.com”

项目组件介绍

  1. 引擎(Scrapy)：核心组件，处理系统的数据流处理，触发事务。

  2. 调度器(Scheduler)：用来接受引擎发出的请求, 压入队列中, 并在引擎再次请求的时候返回。由URL组成的优先队列, 由它来决定下一个要抓取的网址是什么，同时去除重复的网址。

  3. 下载器(Downloader)：用于下载网页内容, 并将网页内容返回给Spiders。

  4. 爬虫(Spiders)：用于从特定的网页中提取自己需要的信息, 并用于构建实体(Item)，也可以从中提取出链接,让Scrapy继续抓取下一个页面

  5. 管道(Pipeline)：负责处理Spiders从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被Spiders解析后，将被发送到项目管道。

  6. 下载器中间件(Downloader Middlewares)：位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。

  7. 爬虫中间件(Spider Middlewares)：介于Scrapy引擎和爬虫之间的框架，主要工作是处理Spiders的响应输入和请求输出。

  8. 调度中间件(Scheduler Middewares)：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

Scrapy爬虫流程介绍

Scrapy基本爬取流程可以描述为UR2IM(URL-Request-Response-Item-More URL)：

  1. 引擎从调度器中取出一个链接(URL)用于接下来的抓取；

  2. 引擎把URL封装成一个请求(Request)传给下载器；

  3. 下载器把资源下载下来，并封装成应答包(Response)；

  4. 爬虫解析Response；

  5. 解析出实体（Item）,则交给实体管道进行进一步的处理；

  6. 解析出的是链接（URL）,则把URL交给调度器等待抓取。

页面结构分析

  1. 首先查看目标页面，可以看到包含多个主题，选取感兴趣主题，本项目以“风景”为例(作为练习，也可以通过简单修改，来爬取所有模块内图片)。

目标页面

  1. 在“风景”分类页面，可以看到每页包含多个专题，利用开发者工具，可以查看每个专题的URL，拷贝相应XPath，利用Xpath的规律性，构建循环，用于爬取每个专题内容。

在这里插入图片描述

查看不同专题的XPath

/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[1]/a

/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li[2]/a

利用上述结果，可以看到li[index]中index为专题序列。因此可以构建Xpath列表如下：

item_selector = response.xpath(‘/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li/a/@href’)

  1. 利用开发者工具，可以查看下一页的URL，拷贝相应XPath用于爬取下一页内容。

在这里插入图片描述

查看“下一页”的XPath

/html/body/div[3]/div/div[3]/div[1]/div[2]/div/a[5]

因此可以构建如下XPath：

next_selector = response.xpath(‘//a[@class=“next”]’)

  1. 点击进入专题，可以看到具体图片，通过查看图片XPath，用于获取图片地址。

在这里插入图片描述

构建图片XPath

response.xpath(‘/html/body/div[3]/div/div[2]/div/div[2]/div[1]/div/a/img/@src’).extract_first()

  1. 可以通过标题和图片序列构建图片名。

在这里插入图片描述

在这里插入图片描述

利用序号XPath构建图片在列表中的序号

index = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/span/text()’).extract_first()

利用标题XPath构建图片标题

title = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/h1/text()’).extract_first()

利用图片标题title和序号index构建图片名

name = title + ‘_’ + index + ‘.jpg’

  1. 同时可以看到，在专题页面下，包含了多张图片，可以通过点击“下一张”按钮来获取下一页面URL，此处为了简化爬取过程，可以通过观察URL规律来构建每一图片详情页的URL，来下载图片。

在这里插入图片描述

第一张图片详情页地址

http://www.win4000.com/wallpaper_detail_45401.html

第二张图片详情页地址

http://www.win4000.com/wallpaper_detail_45401_2.html

因此可以通过首页地址和图片序号来构建每一张图片详情页地址。

第一张图片详情页地址

first_url = response.url

图片总数

num = response.xpath(‘/html/body/div[3]/div/div[2]/div/div[1]/div[1]/em/text()’).extract_first()

num = int(num)

for i in range(2,num+1):

next_url = ‘.’.join(first_url.split(‘.’)[:-1]) + ‘_’ + str(i) + ‘.html’

定义Item字段（Items.py）

本项目用于下载图片，因此可以仅构建图片名和图片地址字段。

win4000/win4000/items.py

import scrapy

class Win4000Item(scrapy.Item):

define the fields for your item here like:

name = scrapy.Field()

url = scrapy.Field()

name = scrapy.Field()

编写爬虫文件(pictures.py)

代码详解见代码注释。

win4000/win4000/spiders/pictures.py

import scrapy

from win4000.items import Win4000Item

from urllib import parse

import time

class PicturesSpider(scrapy.Spider):

name = ‘pictures’

allowed_domains = [‘win4000.com’]

start_urls = [‘http://www.win4000.com/zt/fengjing.html’]

start_urls = [‘http://www.win4000.com/zt/fengjing.html’]

cookie用于模仿浏览器行为

cookie={

“t”:“29b7c2a8d2bbf060dc7b9ec00e75a0c5”,

“r”:“7957”,

“UM_distinctid”:“178c933b40e9-08430036bca215-7e22675c-1fa400-178c933b40fa00”,

“CNZZDATA1279564249”:“1468742421-1618282415-%7C1618282415”,

“XSRF-TOKEN”:“eyJpdiI6Ik8rbStsK1Fwem5zR2YzS29ESlI2dmc9PSIsInZhbHVlIjoiaDl5bXp5b1VvWmdSYklWWkEwMWJBK0FaZG9OaDA1VGQ2akZ0RDNISWNDM0hnOW11Q0JTVDZFNlY4cVwvSTBjQlltUG9tMnFUcWd5MzluUVZ0NDBLZlJuRWFuaVF0U3k0XC9CU1dIUzJybkorUEJ3Y2hRZTNcL0JqdjZnWjE5SXFiNm8iLCJtYWMiOiI2OTBjOTkzMTczYWQwNzRiZWY5MWMyY2JkNTQxYjlmZDE2OWUyYmNjNDNhNGYwNDAyYzRmYTk5M2JhNjg5ZmMwIn0%3D”,

“win4000_session”:“eyJpdiI6Inc2dFprdkdMTHZMSldlMXZ2a1cwWGc9PSIsInZhbHVlIjoiQkZHVlNYWWlET0NyWWlEb2tNS0hDSXAwZGVZV05vTmY0N0ZiaFdTa1VRZUVqWkRmNWJuNGJjNkFNa3pwMWtBcFRleCt4SUFhdDdoYnlPMGRTS0dOR0tkdmVtVDhzUWdTTTc3YXpDb0ZPMjVBVGJzM2NoZzlGa045Qnl0MzRTVUciLCJtYWMiOiI2M2VmMTEyMDkxNTIwNmJjZjViYTg4MjIwZGIxNTlmZWUyMTJlYWZhNjk5ZmM0NzgyMTA3MWE4MjljOWY3NTBiIn0%3D”

}

def start_requests(self):

“”"

重构start_requests函数，用于发送带有cookie的请求，模仿浏览器行为

“”"

yield scrapy.Request(‘http://www.win4000.com/zt/fengjing.html’, callback=self.parse, cookies=self.cookie)

def parse(self,response):

获取下一页的选择器

next_selector = response.xpath(‘//a[@class=“next”]’)

for url in next_selector.xpath(‘@href’).extract():

url = parse.urljoin(response.url,url)

暂停执行，防止网页的反爬虫程序

time.sleep(3)

用于爬取下一页

yield scrapy.Request(url, cookies=self.cookie)

用于获取每一专题的选择器

item_selector = response.xpath(‘/html/body/div[3]/div/div[3]/div[1]/div[1]/div[2]/div/div/ul/li/a/@href’)

for item_url in item_selector.extract():

item_url = parse.urljoin(response.url,item_url)

#print(item_url)

time.sleep(3)

请求专题页面，并利用回调函数callback解析专题页面

yield scrapy.Request(item_url,callback=self.parse_item, cookies=self.cookie)

def parse_item(self,response):

“”"

用于解析专题页面

“”"

由于Scrapy默认并不会爬取重复页面，

因此需要首先构建首张图片实体，然后爬取剩余图片，

也可以通过使用参数来取消过滤重复页面的请求

首张图片实体

item = Win4000Item()

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
img

/img-blog.csdnimg.cn/img_convert/99461e47e58e503d2bc1dc6f4668534a.png)

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-iZh1lE5i-1711066310383)]

前端老侯
关注
专栏目录
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
孤寒者的博客
07-05 3万+
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
热门推荐
孤寒者的博客
08-09 62万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python批量图片下载器（可下载任意种类的图片）
03-18
利用python写的批量图片下载器，程序可自动上网搜索用户 输入的关键字图片并下载
python爬虫批量下载图片
qq_40824039的博客
05-19 8704
批量下载你想要的图片，可直接运行
【网页图片批量下载器】图片只要能看到就能下载，别再一张一张保存啦
最新发布
weixin_46278125的博客
09-04 838
一款网页图片批量下载器，你能看到的图片，都能轻松批量下载！
python爬虫技术——批量图片下载
voiceless_Li的博客
04-30 1420
今天是第二天，我又来啦每日清醒保持清醒，才能在人生的道路上稳健前行，无惧风雨。分享内容Python批量图片爬取今天要分享的是网络上图片的批量爬取，也是通过python，也算是一种爬虫技术吧。搜索引擎：Google环境：python环境工具：pycharm。
Python爬虫实战：批量下载网站图片
coder-tll 的博客
02-18 2312
通过本教程，你将学会如何使用Python编写一个简单而强大的图片下载爬虫，以及如何通过并发下载显著提高下载效率。希望你能将这些技能应用到实际项目中，发挥出它们的最大价值。如果你觉得这篇文章对你有帮助，。你的支持是我不断前进和改进的动力！同时，如果有任何问题或建议，欢迎在**评论区留言，**我会尽力回复每一条评论。让我们一起学习，一起进步！
Python爬虫——利用Scrapy批量下载图片
盼小辉丶的博客
04-14 3822
Python爬虫——利用Scrapy批量下载图片，Scrapy是一个适用爬取网站数据、提取结构性数据的应用程序框架，它可以通过定制化的修改来满足不同的爬虫需求。本项目利用Scrapy 框架下载精美壁纸图片，爬取网站为“美桌壁纸”。利用Scrapy框架批量自动化下载高清壁纸。
Python爬虫实战（七）——批量下载4K高清小姐姐图片（附上完整源码）
努力让自己发光，对的人才能迎着光而来
12-18 29万+
Python爬虫实战（七）——批量下载4K高清小姐姐图片（附上完整源码）
利用Python爬虫批量下载百度图库图片
02-04
利用Python爬虫批量下载百度图库图片
利用python代码爬虫快速批量下载你需要的图片
01-19
在代码里面直接改你要下载的图片名称，保存地址，数量即可； 例如苹果，桌面，50！ 即可即可快速的下载50张苹果的照片保存在桌面（从根源解决手抽筋问题，代码下载它不香吗）
Python 爬取校花网资源、批量下载图片，scrapy 框架 入门经典
12-29
Python 爬取校花网资源、批量下载图片，scrapy 框架 入门经典 https://blog.csdn.net/qq_31939617/article/details/85212997
使用python批量下载图片
08-12
使用python批量下载图片，从已知的图片网站上批量下载免费图片到本地保存。使用python语言实现。
python爬虫下载网站图片
12-10
通过python技术，对任意一个中的所有图片进行下载，存在文件目录中，学习python必备
python爬虫(自动下载图片)
qq_48082548的博客
05-13 3393
爬虫第一步下载第三方工具(requests包): win+R 输入cmd点击确定或回车 输入以下命令下载requests包: requests包是python爬虫常用的包 他的下载方式是 pip install requsts如果觉得下载太慢了在后面可以加个镜像源会有很大的提升 例:pip install requsts -ihttps://pypi.tuna.tsinghua.edu.cn/simple 下面是五个常见的镜像源用那个都可以 清华：https://pypi.tuna.ts...
scrapy批量下载图片
Mr_XiaoZhang的博客
07-12 343
1，spiders 业务处理 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from ..items import YmxItem class SbSpider(scrapy.Spider): name = 'sb' base_url = 'https://www.mzitu.com/' start_urls...
python爬虫快速下载图片_python爬虫批量下载图片
weixin_28909161的博客
02-04 700
使用python的urllib库和正则表达式爬取 http://pic.netbian.com/ 网站图片，支持批量下载。1.可选择图片类型、下载那几页。 2.源代码"""功能：批量下载网站图片时间：2019-5-18 16:14:01作者：倚窗听雨"""import urllib.requestimport reimport osheaders = {"User-Agent":"yjs_id=...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值