Scrapy用ImagePipeline爬取网页图片

最新推荐文章于 2024-03-22 08:12:01 发布
最新推荐文章于 2024-03-22 08:12:01 发布
阅读量3.9k 收藏 15
点赞数
分类专栏： 爬虫 文章标签： 网络爬虫 ImagePipeline Scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wilson_Iceman/article/details/79200796
版权
本文介绍如何利用Scrapy的ImagePipeline组件高效地爬取并处理网页图片，包括图片格式转换、避免重复下载、生成缩略图和自动过滤图片大小等功能。在Scrapy项目中，只需将图片URL放入item的image_urls字段，ImagePipeline会负责后续的下载和存储工作。
摘要由CSDN通过智能技术生成

  之前的那个系列文章只是讲到了如何使用Scrapy来爬取文本数据，今天我们来介绍如何用Scrapy来爬取图片数据。

Scrapy爬取图片数据需要用到ImagePipeline这个类，此类提供一种方便的方式来下载和存储图片，待会大家看例子的时候就可以看到爬取图片要比爬取文本简单的多，这当然要归功于ImagePipeline这个类。

这个类的主要特征如下：

  • 将下载图片转换成通用的JPG和RGB文件格式
  • 避免重复下载
  • 可以生成缩略图
  • 图片大小可以实现自动过滤
下面我们来看一下ImagePipeline的工作流程
  • 爬取一个item，将图片的urls存入image_urls字段
  • 从Spider返回的item，传递到Item Pipeline，
当Item传递到ImagePipeline后，将调用Scrapy调度器和下载器完成image_urls中的URL的调度和下载。ImagePipeline会自动高优先级抓取这些url，与此同时，item会被锁定直到图片抓取完毕才解锁。
  • 这些图片下载完成后，图片下载路径、url和校验等信息会被填充到images字段中。
好了，让我们赶紧开始吧。
启动一个项目，项目名称为douban_img 
scrapy startproject douban_img
最低0.47元/天 解锁文章
Wilson_Iceman
关注
专栏目录
scrapy基于ImagesPipeline爬取图片和视频资源
景天科技苑
01-02 1万+
基于scrapy爬取字符串类型的数据和爬取图片类型的数据区别？字符串：只需要基于xpath进行解析且提交管道进行持久化存储图片：xpath解析出图片src的属性值，单独的对图片地址发起请求获取图片二进制类型的数据只需要将img的src的属性值进行解析，提交到管道，管道就会对图片的src进行请求发送获取图片的二进制类型的数据，且还会帮我们进行持久化存储。
使用Scrapy框架实现爬取
dodobibibi的博客
02-20 1789
Scrapy框架 是什么 用处 实现方法
Python-Scrapy一个快速高级的网站截图和网页采集框架
08-10
Scrapy：一个快速高级的网站截图和网页采集框架
用scrapy爬取下载某图片网站的全部图片
08-20
用scrapy爬取下载某图片网站的全部图片。代码中已经去除了具体网站的信息，代码只供学习用。
Python项目-Day46-Scrapy框架之利用ImagesPipeline下载图片.md
qq_37892223的博客
09-21 516
##Python项目-Day46-Scrapy框架之利用ImagesPipeline下载图片 确定下载的图片 找到图片的url并存在items item['img'] = link.select('div/a/img/@data-original').extract()[0] 这里找图片的src时会有一个问题,明明在浏览器中使用检查看到图片上是有src属性的,但是用scrapy she...
Scrapy：一个快速高级的网站截图和网页采集框架-python
06-18
Scrapy：一个快速高级的网站截图和网页采集框架 Scrapy 概述 Scrapy 是一个快速的高级网页抓取和网页抓取框架，用于抓取网站并从其页面中提取结构化数据。 它可用于广泛的用途，从数据挖掘到监控和自动化测试。 查看 https://scrapy.org 上的 Scrapy 主页以获取更多信息，包括功能列表。 要求 Python 3.5.2+ 适用于 Linux、Windows、macOS、BSD 安装快速方法：pip install scrapy 请参阅 https://docs.scrapy.org/en/latest/intro/install.html 文档中的安装部分更多细节。 文档 文档可在 https://docs.scrapy.org/ 和 docs 目录中在线获得。 发布 您可以查看 https://docs.scrapy.org/en/latest/news.html 以获取发布说明。 社区（博客、推特、邮件列表、IRC）有关详细信息，请参阅 https://scrapy.org/community/。 有关详细信息，请参阅 https://d
python爬虫-scrapy基于selenium进行网页截图
weixin_36723038的博客
12-01 2346
python selenium 截图
Python爬虫之scrapy框架360全网图片爬取
weixin_44356081的博客
10-24 2001
Python爬虫之scrapy框架360全网图片爬取 在这里先祝贺大家程序员节快乐，在此我也有一个好消息送给大家，本人已开通了微信公众号，我会把资源放在公众号上，还请大家小手动一动，关注过微信公众号，回复1024即可获得python的零基础教学哦。 阅读目录Python爬虫之scrapy框架360全网图片爬取前言一、分析网站？二、使用步骤1.引入库2.读入数据总结 前言 我们先进入今天的主题，我们都知道现在python爬虫的手段越来越多，比如通用爬虫， 模拟登陆，js逆向，app爬虫，自动化爬虫等。
scrapy爬虫之爬取汽车之家奥迪Q7高清图片
weixin_42036785的博客
04-21 780
学习scrapy框架的一个小实战，记录以巩固知识。
利用scrapy框架爬取图片并重命名
weixin_44947339的博客
01-06 1523
Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片。这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片。 1、本文是爬取一个美食的网站：https://www.meishij.net/chinafood/caixi/qingzhencai/ 2、开发环境及工具介绍 python 3.7 s...
Python scrapy实现对网站图片的爬取与保存
weixin_43620407的博客
02-20 665
Python scrapy实现对网站图片的爬取与保存 编码工具 Visual Studio Code 实现步骤 1.创建ImageSpider项目 在vscode中新建终端并依次输入下列代码： scrapy startproject ImageSpider cd ImageSpider code 打开项目ImageSpider 2.源代码 pipelines.py from scrapy....
配置scrapy下载图片
weixin_34322964的博客
09-16 265
1.Item下载图片的属性必须是列表 1.Settings文件中设置以下三个值
抓取屏幕展示 内容（类似屏幕截图）
weixin_34304013的博客
01-25 473
2019独角兽企业重金招聘Python工程师标准>>> ...
Scrapy 中 ImagesPipeline 无法保存原图exif信息的原因
风炫的博客
02-13 282
scrapy 这个处理的ImagesPipeline，无法保存原图的exif信息，但是后来发现，这个类有一个大坑，如果是需要下载原图，这个类默认会对图片进行处理，从而覆盖掉原来图片的exif信息，之前遇到一个需求，就是需要爬取并下载网站的图片，并带有图片的exif信息，使用了Scrapy，会对图片进行一些处理，我就是因为这个坑找了一天，后来不使用这个类自己写的pipeline。
Python爬虫——利用Scrapy批量下载图片，理论+实战双管齐下
最新发布
m0_60147147的博客
03-22 2573
引擎(Scrapy)：核心组件，处理系统的数据流处理，触发事务。调度器(Scheduler)：用来接受引擎发出的请求, 压入队列中, 并在引擎再次请求的时候返回。由URL组成的优先队列, 由它来决定下一个要抓取的网址是什么，同时去除重复的网址。下载器(Downloader)：用于下载网页内容, 并将网页内容返回给Spiders。爬虫(Spiders)：用于从特定的网页中提取自己需要的信息, 并用于构建实体(Item)，也可以从中提取出链接,让Scrapy继续抓取下一个页面。
Python学习Scrapy图片保存一，最简单
Python学习之旅
03-30 2376
图片的链接一定要保存在images_urls里面 import scrapy class RosiItem(scrapy.Item): image_urls = scrapy.Field() spider里面将链接赋值给 item[‘image_urls’] item = RosiItem() pic_urls = response.xpath('//div[@clas...
python利用scrapy下载图片
chx_66的博客
12-03 1908
编写配置文件 pipelines文件编写 items文件编写 spider核心代码编写
[爬虫项目]scrapy使用ImagePipeline下载图片And图片分类存储（解决路径问题）
Rei的博客
03-16 6070
项目介绍：       使用Scrapy下载千图网首页图片的高清样张，系统为Ubuntu 14.04       千图网反爬：            1、访问频率限制，延时需设置适当，频率上限后会要求输入4位验证码（3-6次），仍持续该频率将被封号4-6小时(测试数据)            2、经测试，当被检测为恶意访问后,网站未对IP进行封杀,只是封帐号        综上可知其反爬技术并不算...
Python：使用Scrapy框架的ImagesPipeline下载图片如何保持原图片名称呢？
热门推荐
曾是土木人
02-22 1万+
默认情况下，使用ImagePipeline组件下载图片的时候，图片名称是以图片URL的SHA1值进行保存的。 如： 图片URL:http://www.example.com/image.jpg SHA1结果：3afec3b4765f8f0a07b78f98c07b83f013567a0a 则图片名称：3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg
scrapy+selenium爬取网页动态加载数据实例讲解
07-12
当使用 Scrapy 和 Selenium 结合进行网页动态加载数据的爬取时，可以按照以下步骤进行操作： 1. 安装所需库：确保已安装 Scrapy 和 Selenium 库。可以使用以下命令进行安装： ``` pip install scrapy pip install selenium ``` 2. 创建 Scrapy 项目：使用以下命令创建一个新的 Scrapy 项目： ``` scrapy startproject dynamic_scraping ``` 3. 创建 Spider：进入项目目录，并使用以下命令创建一个新的 Spider： ``` cd dynamic_scraping scrapy genspider example example.com ``` 这将在 `spiders` 目录下创建一个名为 `example.py` 的 Spider。 4. 配置 Spider：打开 `example.py` 文件，并按照以下示例进行配置： ```python import scrapy from scrapy_selenium import SeleniumRequest from scrapy.selector import Selector class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] def start_requests(self): yield SeleniumRequest( url='https://example.com', callback=self.parse ) def parse(self, response): sel = Selector(response) # 在这里使用 XPath 或 CSS 选择器提取动态加载的数据 # 示例：提取标题 title = sel.xpath('//h1/text()').get() print(title) ``` 在上面的示例中，我们使用了 `SeleniumRequest` 替代了普通的 `scrapy.Request`，这使得 Scrapy 可以使用 Selenium 来处理动态加载的内容。 5. 配置 Selenium：为了使用 Selenium，你需要配置相关的 Web 驱动程序。根据你使用的浏览器，下载并安装相应的驱动程序，并将其添加到系统的 PATH 环境变量中。 6. 运行 Spider：使用以下命令运行 Spider： ``` scrapy crawl example ``` 这将启动爬取过程，并在控制台上打印出提取的动态加载数据。 通过以上步骤，你可以使用 Scrapy 和 Selenium 结合进行爬取动态加载数据的操作。你可以根据实际需求修改 Spider 中的代码来提取所需的数据，并将其保存到文件或数据库中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值