scrapy练习02---同时爬取数据信息和图片

最新推荐文章于 2023-11-22 11:16:16 发布
最新推荐文章于 2023-11-22 11:16:16 发布
阅读量404 收藏 4
点赞数 1
分类专栏： 学习记录 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42405558/article/details/113818719
版权

参考博客

博客1
博客2

在这里插入图片描述
上图是爬出来的效果

修改settings文件

在这里插入图片描述
增加下载图片的管道
以及图片的存储路径

修改爬虫代码

在这里插入图片描述
增加img 字段
在这里插入图片描述
items文件内也要增加

修改管道

在这里插入图片描述
新增一个管道类
下载图片需要继承ImagesPipeline
重写其方法
get_media_requests 获取图片链接 请求下载
file_path 重命名下载后的文件
item_completed 下载完成之后的处理

这里有几个坑点

  1. 管道的方法内，有的方法需要加上return items 不然后续可能拿不到item在这里插入图片描述

  2. 就是获得item类对象的时候，要注意位置，我一开始是放在for外面的，导致我得到的结果全部都是一个名字，调了蛮久。。。
    在这里插入图片描述

我永远喜欢希露菲叶特
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
scrapy——图片数据爬取之 ImagesPipeline
qq_43278562的博客
04-09 500
图片数据爬取之ImagesPipeline 基于scrapy爬取字符串类型的数据和爬取图片类型的数据的区别？ 字符串：只需要基于xpath进行解析且提交管道进行持久化存储。 图片：xpath解析出图片src的属性值。单独的对图片地址发起请求获取图片二进制类型的数据 xpath 提供了 imagespipeline 帮助我们处理图片的src，只需要将img的src的属性值进行解析，提交到管道，管道就会对图片的src属性值进行请求发送获取图片的二进制类型的数据，且还会帮助我们进行持久化存储 需求：爬取.
Scrapy爬取伯乐在线所有文章和图片并提取有用的数据
qq_35206389的博客
04-12 2004
1.首先是环境的搭建首先我们的环境是再python3.6环境下搭建的，但是由于scrapy依赖的包过多所以我推荐大家下载使用annconda这个集群环境！这个环境是异常强大的，它会使我们安装scrapy变的非常的简单！我们可以先使用（这里使用虚拟环境进行项目的管理）conda install virtualenv然后我们（这个是管理虚拟环境的）pip install virtualenvwrapp...
scrapy 在爬取过程中抓取下载图片
weixin_34303897的博客
06-08 138
先说前提,我不推荐在sarapy爬取过程中使用scrapy自带的ImagesPipeline 进行下载,是在是太耗时间了 最好是保存,在使用其他方法下载 我这个是在https://blog.csdn.net/qq_41781877/article/details/80631942看到的,可以稍微改改来讲解 文章不想其他文章说的必须在items.py 中建立 image_url...
利用scrapy爬取京东移动端的图片素材和商品信息
T型人小付的博客
09-02 1993
有一个练习项目需要一些带分类信息的商品测试图片，从现有的电商网站爬取是个不错的选择。刚好最近又在练习scrapy的使用，这一篇记录一下用scrapy爬取京东的图片素材并保存商品信息的思路。 文中代码共享在我的Github中JDcrawler项目。 文章目录爬取目标动态加载和跨域请求思路分析获取子分类信息获取具体商品信息scrapy配置代码实现item部分spider部分pipeline部分结果展示后续改进总结 爬取目标 为什么选择京东？因为我需要的图片是手机版尺寸，而刚好京东支持手机网页打开的适配。 如下，
Scrapy 数据存储 图片和文件
weixin_30802273的博客
05-23 150
Scrapy 数据存储 图片和文件 pics_down = requests.get(item['cover'])with open('W:\pcis\{}.jpg'.format(item['title']),'wb') as f: f.write(pics_down.content)f = open('W:\pcis\{}.jpg'.format(item['title']), 'rb...
Python-Scrapy练习项目利用Scrapy抓取古诗
08-10
在本项目中，我们将深入探讨如何使用Python的Scrapy框架来抓取古诗数据，包括唐诗和宋词，最终将这些数据存储为JSON格式。Scrapy是一个强大的、专为爬取网站并提取结构化数据而设计的工具，非常适合进行大规模的数据...
Python-python爬虫框架scrapy练手项目
08-10
Scrapy是一个强大的Python爬虫框架，专为高效的数据抓取和处理而设计。...通过这个练习项目，你不仅能学会Scrapy的基本用法，还能深入了解网络爬虫的工作原理和数据处理流程，为后续的Web爬虫开发打下坚实基础。
python爬虫框架scrapy实战之爬取京东商城进阶篇
09-21
同时，确保遵守网站的robots.txt文件规定，合法合规地爬取数据。 总结，本篇文章通过实例展示了如何使用Scrapy爬取京东商城的进阶技巧，包括处理动态加载内容、分页请求、数据解析和调试。通过学习，读者可以更好地...
python网页爬虫--美女网图片爬取
10-27
在Python编程领域，网页爬虫是一项重要的技能，它允许我们自动化地从互联网上抓取大量数据，包括图像。...同时，这个过程也能提升我们的数据分析能力，为我们后续处理和分析爬取到的数据打下基础。
Python-我的爬虫练习
08-10
在本项目"Python-我的爬虫练习"中，我们看到一个初学者尝试使用Python进行网络爬虫的实践，目标是抓取豆瓣读书网站上的图书信息。这个爬虫仅爬取了每个标签类别的首页，但通过稍作调整，可以扩展为爬取任意多页的...
Scrapy爬虫框架之———— 多页爬取图片的信息
magicboom的博客
04-29 2349
ok, 接下来我们要将怎样多页爬取图片的信息，以及如何下载图片。 知识点涉及到： 自动的翻页爬取 多个parse 之间的request 传递 构建图片爬取的通道 さあ！始めようぜ！ 首先我们要爬取的网站是这个： 知名的动漫壁纸网 Konachan.net 确定了目标之后，我们的第一个任务是创建一个爬虫项目以及一个爬虫 scrapy startpro...
Python爬虫之scrapy下载文件和图片
08-10 1万+
爬取数据 import scrapy from xspider.items import XspiderItem class ScandalSpider(scrapy.Spider): name = 'scandal' allowed_domains = ['car.autohome.com.cn'] start_urls = ['https://car.autohome...
【Scrapy】确认xpath没问题但是爬取不到数据
最新发布
qq_51527550的博客
11-22 935
方法：（以Edge浏览器示范）在浏览器中点开设置，搜索“站点权限”，找到“JavaScript"，然后点进去，将”允许“的开关关掉。禁用JavaScript之后，拿之前能爬取成功的当当网检验，可以看到禁用之后，还是可以看到图书信息的。**原因：**如果目标网站使用JavaScript来渲染页面内容，Scrapy默认情况下可能无法获取到动态生成的内容。“print(”===============")"能执行，说明没有反爬，但是却没有获取到想要的div。如题，爬取爱彼迎首页时，返回的数据为空，即返回[]
scrapy框架分析ajax请求爬取图片并同时存到mongodb和mysql数据库中把照片存到本地
weixin_44996454的博客
05-11 274
本次爬取的网站https://image.so.com/打开此页面切换到美女的页面，打开浏览器的开发者工具，切换到XHR选项，然后往下拉页面，我么会看到出现许多的ajax请求，如图： 对上面的许多请求进行分析会发现我们要爬取图片的数据就在很多类似这样的 zjl?ch=beauty&sn=30 sn=0时代表0-30张图片，sn=30代表31-60张图片依次排列 点进去，如图 切换到Headers 找到我们要请求的url (Request URL) 经过分析我们要请求的url很有规律经过简单的
Python中scrapy爬虫框架的数据保存方式（包含：图片、文件的下载）
热门推荐
家有代码初写成 的博客
07-07 1万+
注意：settings.py中ITEM_PIPELINES中数字代表执行顺序（范围是1-1000），参数需要提前配置在settings.py中（也可以直接放在函数中，这里主要是放在settings.py中），同时settings.py需要配置开启一、scrapy自带的保存方式（图片，文档的下载）需要在settings.py中配置：主要是开启# Configure item pipelines # ...
scrapy爬取图片
qq_45895217的博客
10-01 448
使用scrapy爬取图片，采用管道方法进行下载。
Scrapy爬取图片教程
weixin_41122339的博客
06-28 1万+
一、使用爬虫框架scrapy爬取图片 上次我们爬取过文本、文字、的一些普通数据，现在我们就可以学习爬图片了，一些段友就可以爬自己想要的图片了，哈哈哈哈。 首先我们先大概总结一下scrapy爬虫的原理流程，先看图： 首先翻译一下上面的英文： Scrapy是一种用于抓取Web站点和提取结构化数据的应用程序框架，用于数据挖掘……最初是为Web刮取而设计的，现在可以用来使用API（如Amazo...
使用scrapy爬取图片
江玉郎
08-11 1万+
一 半自定义方法 这里我们以美食杰为例，爬取它的图片，作为演示，这里只爬取一页。美食杰网址 1 首先我们在命令行进入到我们要创建的目录，输入 scrapy startproject meishi, 接着根据提示cd meishi， 再cd meishi, , 下来写 scrapy genspider mei meishij.net ,生成如图所示文件。 （关于以上命令的讲解不在这次写的...
scrapy爬取唯品会运动鞋信息并进行简单的数据处理和分析
weixin_45920625的博客
05-10 2516
唯品会爬虫一、环境准备二、问题分析三、spider三、item四、setting五、pipelines六、使用jupyter进行简单的数据处理和分析 一、环境准备 1、 python3.8.3 pycharm 创建项目前先安装管理虚拟环境的第三方包 pip install scrapy virtualenv -i https://pypi.douban.com/simple 2、 找一个地方创建文件夹，用于保存项目 3、 然后进入目录 4、 继续创建目录并进入目录 5、 目录栏输入cmd打开黑窗口
python爬虫数据练习
08-18
当然！我可以为您提供一些关于Python爬虫数据练习的建议。以下是一些常见的练习项目，您可以根据自己的兴趣和需求选择其中之一或多个进行练习： 1. 爬取网页数据：使用Python的 requests 库或者 scrapy 框架，爬取一个网页的内容，并将其保存到本地文件或者数据库中。 2. 数据解析：在上述爬取的网页数据中，解析出您感兴趣的信息。可以使用正则表达式、BeautifulSoup 或者 lxml 等库来解析 HTML 或 XML 数据。 3. 图片爬取：通过爬虫程序下载某个网站上的图片。您可以使用 requests 库下载图片，也可以使用第三方库如 urllib 或者 wget。 4. 数据存储：将爬取到的数据存储到数据库中，如 MySQL、SQLite 或者 MongoDB。您可以使用 Python 的数据库模块（如 pymysql、sqlite3 或 pymongo）来实现数据存储功能。 5. 动态网页爬取：对于使用 JavaScript 动态生成内容的网页，您可以使用 Selenium 或者 Pyppeteer 等工具来模拟浏览器行为，以获取动态生成的数据。 6. API 数据爬取：通过调用API接口获取数据。许多网站提供API接口供开发者获取数据，您可以使用 Python 的 requests 库来发送请求，并处理返回的 JSON 数据。 请注意，在进行爬虫练习时，务必遵守网站的爬虫规则和法律法规，不要对目标网站造成不必要的压力或侵犯其合法权益。 希望这些练习能帮助您提升Python爬虫的技能！如果您有任何进一步的问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值