以北京大黄瓜为例，手把手教你使用scrapy抓取数据并存入MongoDB！

最新推荐文章于 2024-07-07 08:00:00 发布
最新推荐文章于 2024-07-07 08:00:00 发布
阅读量309 收藏 2
点赞数
分类专栏： python爬虫实战教程 文章标签： mongodb 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36807888/article/details/120259934
版权

第一次对scrapy做了简单的了解并且使用scrapy实战爬取了B站单页小姐姐视频信息。详情如下：

Scrapy爬取B站小姐姐入门教程，结果万万没想到！

第二次使用scrapy翻页爬取了糗事百科13页的段子信息

Scrapy翻页爬取糗事百科所有段子后，我总结出的...

目标获取

今天我们使用scrapy爬取北京瓜果蔬菜单价并将其存入数据库MongoDB

网站首页如下图：

图片

我们要获取的目标有瓜果蔬菜的

名称、最低价、最高价、均价、产地还有价格发布时间等

spider爬虫

首先我们建立scrapy项目

图片

建立完毕结构图如下：

最低0.47元/天 解锁文章
途途途途
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python爬虫编程思想（153）：使用Scrapy抓取数据，抓取多个Url
一个被知识诅咒的人
06-28 2378
在前面的案例中都是只抓取了一个Url对应的页面，但在实际应用中，通常需要抓取多个Url，在爬虫类的start_urls变量中添加多个Url，运行爬虫时就会抓取start_urls变量中所有的Url。下面的代码在start_urls变量中添加了2个Url，运行MultiUrlSpider爬虫后，就会抓取这两个Url对应的页面。...
11.Scrapy框架基础-使用Scrapy抓取数据并保存到mongodb
qq_40407729的博客
06-01 3469
前面我们都是从头开始编写爬虫，发送请求、解析网页、数据存储等每一个功能模块都需要自己实现。这一章我们学习的Scrapy是一个爬虫框架，它将上述的所有功能都封装到框架里。这样我们使用较少的代码就能完成爬虫的工作。 爬虫者往往会经历一个不用框架，到使用框架，再到不用框架的过程。初学者最开始只需要一个简单的小房子，所以使用Requests和bs4很方便。在学会使用Requests和bs4后，再使用Scrapy框架，你会发现一个新大路，原来只需要几行代码就可以完成爬虫，发现Scrapy很好用。但是渐渐地，你需要
Scrapy爬虫，数据存入MongoDB
songrenqing
06-13 8012
一些想法首次登陆MongoDB，由于没有设置用户管理权限，会给出警告，“WARNING: Access control is not enabled for the database”。警告（warning）和错误（error）不一样，你完全可以忽略警告，并不影响你使用MongoDB。即使你没有创建管理员权限，在没有账号和密码的情况下也可以对数据库进行操作。但是从安全的角度考虑，最好是给要操作的数...
Scrapy爬取数据存入Mongodb中
小青蛙的博客
01-18 2368
导读 这次使用scrapy简单的爬取一些多列表电影数据，存储在csv文件及json文件中，最后把这些数据全部存储在Mongodb中。涉及的知识点有pipeline，yield，中间件，xpath，items 的使用。 入口文件编写 文件名：douban_spider.py 实现代码如下： # -*- coding: utf-8 -*- import scrapy from douban.ite...
Scrapy定向爬虫教程(四)——数据存入MongoDB
热门推荐
孔天逸'Blog
10-14 1万+
本节内容这一小结我们共同学习把Scrapy爬取到的数据存储到MongoDB数据库中。其中包括以下知识： Linux下MongoDB的安装 pymongo的安装 Scrapy + pymongo Robmongo的下载使用 我已将本节内容的源码传至本项目的useMongoDB分支，不学习本节不影响以后的教程学习。安装MongoDB使用apt-get进行安装sudo apt-get install mo
【Python爬虫神器揭秘】手把手教你安装配置Scrapy，高效抓取网络数据
wenjie20070212的博客
03-12 2089
如果百度图片的链接需要额外处理才能下载原始图片，可能需要扩展。
scrapy+selenium爬取网页数据并存入mongodb数据库
weixin_45463877的博客
04-11 2859
（一）安装selenium： pip3 install selenium （二）下载chromedriver 使用chrome浏览器做自动化，根据本身浏览器的版本下载相对应的chromedriver 可以到http://chromedriver.storage.googleapis.com/index.html 下载对应的版本 （三）新建爬虫 进入scrapy项目目录，新建爬虫，在spider...
【Python】手把手教你使用Scrapy同时运行多个爬虫
qq_42595835的博客
12-27 2503
使用scrapy同时运行多个爬虫
爬虫之将Scrapy爬取数据保存至Mongodb数据库
weixin_46297209的博客
12-08 1681
爬虫之将Scrapy爬取数据保存至Mongodb数据库 需求：以1药网中中西药品分类中的所有页面为目标，爬取每件商品的单价，名称以及评论 在上一篇博客中，我们讲了Scrapy的基本使用以及各个文件该如何配置，与上篇博客中的案例相比，不同的地方就是在pipelines.py中对数据的处理不同。 创建爬虫文件 scrapy genspider yiyaowang yiyaowang.com 在yiyaowang.py文件中先编写回调函数，先爬取一页的数据 # -*- coding: utf-8 -*-
【吐血整理】Python爬虫实战！从入门到放弃，手把手教你数据抓取秘籍
最新发布
eclipsercp的博客
07-07 2693
网络爬虫，又称为网页蜘蛛或爬虫，是一种用来自动浏览万维网的程序。它按照一定的算法顺序抓取网页内容，同时将抓取到的数据存储起来，用于进一步的分析和处理。定义：网络爬虫是一个自动提取网页的程序，它从互联网上采集网页并提取其中的信息。重要性：网络爬虫在信息获取、数据挖掘、搜索引擎构建等方面发挥着关键作用。它帮助我们从海量的网络信息中提取有价值的数据，为大数据分析、市场研究、学术研究等提供原始材料。
用Python给代码安个进度条，太香了吧
qq_36807888的博客
12-13 1万+
相信大家对进度条一定不陌生了，比如在我们安装python库的时候可以看到下载的进度，此外在下载文件时也可以看到类似的进度条 比如下图这种：小小进度条也是有大大梦想的~~ 用一个炫酷的进度条，来观察处理进度，也可以及时了解程序运行的情况，此外还可以用于显示时间，并告诉用户当前任务的执行进展。做到心中有数。 今天和大家分享一个进度条可视化库，它的名字叫做tqdm，可以帮助我们监测程序运行的进度，用户只需要封装可迭代对象即可 安装 我们使用pip直接进行安装： pip...
Python爬取腾讯视频16978条弹幕，发现弹幕比剧还精彩
qq_36807888的博客
11-05 6587
东北民间流传着关于“皇围猎人”的神秘传说 他们世代生存于深山，为帝王守护兴安岭这片龙兴之地的气脉运转。传闻猎人除了精通狩猎之法，更知晓驱鬼通神之术。 在东北一处偏僻的山村里，悄然发生一起灭门惨案，在村民们的恳求下，最后一代皇围猎人刘二爷决定出山调查真相，不想过程中怪事屡现， 老林子里的秘密也被渐渐揭开..... 咱打小就喜欢看这种片子，大兴安岭、东北马氏、神农架、盗墓笔记、鬼吹灯这种片子看得我是不亦乐乎。 前一个月在抖音上看到这部片子预告的时候就已经迫不及待了，今天为了看片还专门开
怎么安装最新Python3.8.5-新手入门教程必看
qq_36807888的博客
08-18 4133
前两天给大家分享了最新版2020.2版本的pycharm的激活教程和两种汉化方法 小伙伴们反应都很不错，然而好多刚步入编程行列的小朋友或者是刚学习python的朋友对python的安装还有一些疑惑。所以借此机会在此附上目前最新Python3.8.5的详细下载和安装教程。希望大家在学习Python的道路上迈出自信的第一步 1.首先咱们百度进入Python官网，找到首页的Download，点击当下最新Python版本3.8.5进行下载安装。 2.选择自己电脑的版本进行下载，此处以Win..
冬天到了，用python给媳妇选一件有气质的大衣
qq_36807888的博客
11-15 3109
这两天北方快要冷死了，我在网易严选上看中了一件大棉袄，值不值得买？ 我想用python来分析一波 今天，我们就爬取网易严选某大衣品牌评论情况，来看看大家对于颜色、尺码都是怎么选的？ 目标获取 我们此次的目标数据有六个，颜色、尺码、评论时间、会员等级、点赞量和评论内容 最后通过数据可视化来直观的展示给选择困难症 让你轻松做出选择~ 网页分析 我们F12打开浏览器开发者模式，可以看到我们要获取的数据都在其中 接下来我们找到网页请求链接来模拟浏览器
爬取疫情最新数据，绘制数据可视化地图，实时查看最新疫情数据
qq_36807888的博客
04-01 3017
近日，各地疫情又出现严重反复的现象，目前新增新冠疫情仍处于多点散发、局部聚集的态势，面对这样的情况，疫情防控还要这样做！ 我们再从数据方面分析一下来看看全国疫情情况。获取的数据如下：地区、死亡人数、确诊人数、新增人数、治愈人数、当前确诊人数等绘制疫情可视化地图 网站分析 我们今天要爬取的网站是百度，这个网站每日实时更新最新疫情数据。如下： 我们右键检查如下获取数据来源网址 在response中我们可以看到我们要获取的数据就在其中。
PanDownload再次复活！10M/S的下载速度。这次真的是无法再低调了
qq_36807888的博客
09-15 3015
百度网盘，因为其下载限速问题，多年来饱受用户的诟病。 几十 KB/s，甚至几 KB/s 的下载速度，让人一度怀疑自己生活在上个世纪。甚至连付费的超级会员下载文件，有时候也慢的让人怀疑人生。下载一个软件竟然需要22个小时，我天！ 今天就给大家介绍一下可以代替百度云盘的一款软件，PanDownload！ 即使大家没用过之前也应该听说过吧，这款软件的开发者前一段时间被抓闹得沸沸扬扬，很多人都吐槽百度无下限。 PanDownload作为一款免费的下载工具的确造福了很多人，之前的是非因果，在此我们也
python爬虫实战经典案例，突破反爬！爬取短视频！
qq_36807888的博客
11-20 2750
今天在爬取某梨短视频时，发现前端代码跟之前都不一样了。加入了很多的反爬措施。在此特意记录一下！ 先来看一下最终执行结果： 爬虫重要的不是写代码，而是分析！分析它的网页请求！ 爬虫的基本过程一般如下: 1-发送请求 2-获取响应 3-解析并提取数据 4-保存数据 1.分析翻页网页 11.首先我们进入某梨视频首页如下，今天准备爬取的排行榜中的视频： 1.2.点开排行榜网页我们先来简单分析一下，发现它默认显示10个视频。 1.3.点击‘加载更多’或...
‘爬虫-反爬’知多少
qq_36807888的博客
04-09 1822
什么是爬虫？ 网络时代，有一种网络程序，俗称网络机器人。它可以按照一定的规则代替人们自动地在互联网中进行数据信息的采集与整理，这就是所谓的【爬虫】。 什么是反爬虫？ 反爬虫就是和爬虫抗衡。减少被爬取的次数。其实就是网站为了维护自己的核心安全而采取的抑制爬虫的手段和措施。 说得简单一点，反步兵就是机关枪、反坦克就是火箭炮。反爬虫那就是杀虫剂喽！ 反爬虫的手段其实有很多，今天就给大家分享几个我在爬虫过...
知乎爬虫|既然所有的生命都要死亡，那么生命的意义是什么？
qq_36807888的博客
11-21 1775
最近刷抖音的时候看到了一个网上爆火的话题 ’既然所有的生命都要死亡，那么生命的意义是什么？‘ 2000万浏览，近8万个回答。结果下方的评论让我大感意外 没有意义，只是为了活着.... 似乎所有人都很悲观、厌世 所以今天我们就使用python爬虫来获取知乎这一话题下的所有评论信息，看看大家都是如何看待这一问题的？ 目标获取 关于scrapy概念讲的我嘴都麻了，估计大家看得也快烦死了， 直接进入主题吧! 直接创建scrapy项目创建完成结构如下： .
使用scrapy框架抓取数据，保存为csv格式
06-28
### 回答1： 使用Scrapy框架可以轻松地抓取数据并将其保存为CSV格式。以下是具体步骤： 1. 创建一个Scrapy项目并定义要抓取的网站。 2. 编写Spider，定义如何抓取数据。 3. 在Item中定义要保存的数据字段。 4. 编写Pipeline，将数据保存为CSV格式。 5. 在settings.py中启用Pipeline。 6. 运行Scrapy爬虫，数据将被抓取并保存为CSV格式。 总之，使用Scrapy框架抓取数据并保存为CSV格式非常简单，只需按照上述步骤操作即可。 ### 回答2： Scrapy是一个开源的Python Web爬虫框架，可以用于抓取互联网上的数据，可以自动化地将其整理、处理和保存为所需的格式。其中，CSV(comma-separated values)是一种常见的数据格式，用于在不同的程序之间共享、导入和导出数据。下面是使用Scrapy框架抓取数据并保存为CSV格式的步骤： 1. 安装 Scrapy：可以通过pip安装 ```python pip install scrapy ``` 2. 创建 Scrapy 项目：在命令行下输入以下命令 ```python scrapy startproject projectname ``` 其中，projectname是你的项目名称。 3. 创建 Scrapy Spider：在项目中创建一个spider以定义从哪里收集数据和如何处理数据。在命令行下输入以下命令： ```python scrapy genspider spidername domain.com ``` 其中，spidername是你的spider名称，domain.com是你要爬取的网站地址。 4. 修改 Spider，添加Spider代码：打开你的spider，并为其添加必要的代码。Scrapy的spider使用XPath或CSS选择器来提取需要的数据。 ```python import scrapy class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] def parse(self, response): data = response.xpath('//div[@class="myclass"]') for item in data: yield { 'title': item.xpath('a/text()').extract_first(), 'link': item.xpath('a/@href').extract_first() } ``` 在这个例子中，我们在网页中找到所有的div，然后提取每个div中的标题和链接 5. 存储数据：在Scrapy的settings.py文件中，您可以将文件名和数据保存路径设置为.csv文件。默认情况下，Scrapy会以.json格式存储数据。为了更改默认设置，只需将以下字段添加到settings.py文件： ```python FEED_FORMAT = 'csv' FEED_URI = 'file:///path/to/file.csv' ``` 在上面的示例中，我们将数据保存到名为file.csv的文件中。只需替换实际的路径，即可将数据保存到所需的位置。 6. 运行Spider：在命令行中运行以下命令，运行spider并将数据保存为csv格式 ```python scrapy crawl spidername -o file.csv ``` 必须将示例中的spidername替换为实际的spider名称。-o标志是用于指定要将数据保存到的文件名。 Scrapy框架使数据抓取变得更容易，它包含许多内置的功能，例如Cookies管理、重定向管理、HTTP缓存等。 Scrapy的另一个优点是可以自定义处理程序，例如可以通过将数据保存为CSV格式，将数据提供给其他程序使用。 ### 回答3： Scrapy是一个开源的Python框架，用于从网站上抓取数据并进行爬取。 Scrapy可以跨越多个页面爬取数据，还可以在爬取过程中对数据进行处理和过滤。 使用Scrapy框架抓取数据并保存为csv格式，需要以下步骤： 1、安装Scrapy框架和相关依赖包，如lxml、twisted等。 2、创建一个Scrapy项目。可以使用命令scrapy startproject projectname来创建一个Scrapy项目，其中projectname为项目的名称。 3、编写爬虫代码。在Scrapy项目中，可以通过编写一个爬虫代码来定义爬取的规则，包括如何访问网站、如何获取页面、如何解析页面以及如何存储数据等。 4、设置ITEM_PIPELINES。 Scrapy提供了一种称为ITEM_PIPELINES的机制，可以将获取到的数据在不同的程序中进行处理和过滤。可以通过设置ITEM_PIPELINES来指定将数据存储为csv格式。 5、保存数据为csv格式。在Scrapy项目中，可以使用Python内置的csv库将数据存储为csv格式。编写一个csv导出器，将爬取的数据保存为csv格式文件。 通过以上步骤，就可以使用Scrapy框架抓取数据并将其保存为csv格式了。Scrapy不仅可以抓取纯文本数据，还可以抓取图片、视频等多媒体数据。如果想要将数据存储到MySQL或MongoDB数据库中，可以使用Scrapy提供的数据库管理功能，直接将数据写入数据库进行存储。 Scrapy框架的优点是速度快、可扩展性强、对异步支持好等，它在数据抓取方面有很大的优势。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

途途途途

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值