Python爬虫编程10——Scrapy+Redis进阶

已于 2022-03-27 13:00:53 修改
阅读量970 收藏
点赞数
分类专栏： python爬虫编程 文章标签： python 爬虫 redis
于 2022-03-23 13:47:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52914337/article/details/123683306
版权

目录

   背景

Redis是什么？

数据库的发展历史

NoSQL和SQL数据库的比较

Redis特性

Redis有什么用？

Redis应用场景

Redis怎么用？

Redis的安装及启动

Redis的配置文件

Redis数据库简单使用

redis常用五大数据类型

1.redis-string

2.redis-list(单值多value)

3.redis-Hash

4.redis-set(不重复的)

5.redis-Zset

Python操作Redis

redispy安装及连接

字符串相关操作

列表相关操作

集合相关操作

哈希相关操作

Scrapy-分布式

        什么是scrapy_redis

回顾scrapy工作流程

scrapy_redis工作流程

scrapy_redis下载

scrapy_redis中的settings文件

改写分布式

运行结束后redis中多了三个键

背景

随着互联网+大数据时代的来临，传统的关系型数据库已经不能满足中大型网站日益增长的访问量和数据量。这个时候就需要一种能够快速存取数据的组件来缓解数据库服务I/O的压力，来解决系统性能上的瓶颈。

Redis是什么？

Redis是一个高性能的，开源的，C语言开发的，键值对存储数据的nosql数据库。

NoSQL：not only sql，泛指非关系型数据库 Redis/MongoDB/Hbase Hadoop

关系型数据库：MySQL、oracle、SqlServer

数据库的发展历史

1.在互联网+大数据时代来临之前，企业的一些内部信息管理系统，一个单个数据库实例就能满足系统的需求；（单数据库实例）

2.随着系统访问用户的增多，数据量的增大，单个数据库实例已经满足不了系统的读取需求；（缓存（memcache）+单数据库实例）

3.缓存可以缓解系统的读取压力，但是数据量的写入压力持续增大，（缓存+主从数据库+读写分离）

4.数据量再次增大，读写分离以后，主数据库的写库压力出现瓶颈、（缓存+主从数据库集群+读写分离+分库分表）

5.互联网+大数据时代来临，关系型数据库不能很好的存取一些并发性高，实时性高的，并且数据格式不固定的数据。（nosql+主从数据库集群+读写分离+分库分表）

NoSQL和SQL数据库的比较

  • 适用场景不同：SQL数据库适合用于关系特别复杂的数据查询场景，nosql反之
  • 事务：SQL对事务的支持非常完善，而nosql基本不支持事务
  • 两者在不断的取长补短

Redis特性

  • Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用
  • Redis不仅仅支持简单的key-value类型的数据，同时还提供List，set等数据类型
  • Redis支持数据的备份

Redis有什么用？

Redis的主要作用：快速存取

Redis应用场景

点赞/秒杀/直播平台的在线好友列表/商品排行榜

Redis怎么用？

官网地址：Redishttps://redis.io/

命令地址：Redis 命令参考 — Redis 命令参考

Redis的五大数据类型以及应用场景：

string/list/set/hash/zset

Redis的安装及启动

查看帮助命令
redis-server --help

启动服务
redis-server.exe

链接客户端
redis-cli.exe

Redis的配置文件

/etc/redis/redis.conf

当redis作为守护进程运行的时候，它会写一个 pid 到 /var/run/redis.pid 文件里面。
daemonize no

监听端口号，默认为 6379，如果你设为 0 ，redis 将不在 socket 上监听任何客户端连接。
port 6379

设置数据库的数目。
databases 16

根据给定的时间间隔和写入次数将数据保存到磁盘
下面的例子的意思是：
900 秒内如果至少有 1 个 key 的值变化，则保存
300 秒内如果至少有 10 个 key 的值变化，则保存
60 秒内如果至少有 10000 个 key 的值变化，则保存
 
save 900 1
save 300 10
save 60 10000

监听端口号，默认为 6379，如果你设为 0 ，redis 将不在 socket 上监听任何客户端连接。
port 6379

Redis默认只允许本地连接，不允许其他机器连接
bind 127.0.0.1

Redis数据库简单使用

DBSIZE      查看当前数据库的key数量
keys *      查看key的内容
FLUSHDB     清空当前数据库的key的数量
FLUSHALL    清空所有库的key(慎用)
exists key
最低0.47元/天 解锁文章
彩色的泡沫
关注
专栏目录
python Scrapy进阶（scrapy-redis）
Jaydenzuo的博客
03-10 238
Scrapy进阶Scrapy进阶（下）Scrapy-redisScrapy-redis框架普通爬虫文件改写成分布式爬虫文件普通爬虫文件分布式爬虫文件 Scrapy进阶（下） Scrapy-redis 目标 了解工作流程 把普通爬虫改写分布式爬虫 Scrapy和Scrapy-redis区别 Scrapy爬取效率高，具有高度可定制性，不支持分布式 Scrapy-redis基于redis数据库，运行在Scrapy框架上的一个组件，可以让Scrapy支持分布式策略，支持主从同步 Scrapy-red
python Scrapy进阶（redis数据库）
Jaydenzuo的博客
03-09 201
Scrapy进阶（上）Scrapy进阶Redis数据库简介对比（关系型数据库）Redis特性Redis数据的使用数据库事务 Scrapy进阶 Redis数据库 简介 Redis数据库是非关系型数据库（NoSql）—— 非关系型数据库有 Redis/MongoDB/Hbase Hadoop等 数据存储在缓存当中 读取速度比较快 对比（关系型数据库） 持久化数据 —— 数据存储在硬盘 读取速度相对较慢 运行机制存在大量I/O操作 关系型数据库有MySQL/Oracle/SQLServer等 Redis特
scrapy-redis
12-27
分布式Scrapy案例，Scrapy+redis+mongodb
Scrapy框架进阶Redis
weixin_44722998的博客
02-22 1302
文章目录背景Redis是什么？数据库的发展历史NoSQL和SQL数据库的比较Redis特性Redis有什么用？Redis应用场景Redis怎么用？Redis的五大数据类型以及应用场景Redis的配置文件Redis数据库简单使用redis常用五大数据类型1.redis-string1.set/get/del/append/strlen2.incr/decr/incrby/decrby3.getrange/setrange2.redis-list(单值多value)1.lpush/rpush/lrange2.l
Scrapy与redis的结合（Scrapy 分布式）
qq_45451647的博客
03-10 1289
一 ，Scrapy-分布式 （1）什么是scrapy_redis scrapy_redis:Redis-based components for scrapy github地址:https://github.com/rmax/scrapy-redis （2）Scrapy和Scrapy-redis 有什么区别？ 1.Scrapy是爬虫的一个框架 爬取效率非常高 具有高度的可定制性 不支持分布式 2.Scrapy-redis 它是基于redis数据库 运行在scrapy框架之上的一个组件
scrapy+redis增量爬虫
weixin_30905981的博客
01-17 246
scrapy适合一次性爬取全站，如果我想多次爬取，主目录页面难免会出现重复，去重增量爬取就很有必要了。 我在网上搜到了这样的文章scrapy+redis增量爬取, 逻辑是前一次存取每次爬过的url进数据库，这一次在pipeline中再把数据库中已爬url读取存进redis里，然后比对这次爬的item里的url，一样就不存。 看了这个逻辑，我觉得核心思想有道理，用redis键值比对，不...
Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis.zip
12-30
毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis 毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis 毕业设计+Python基于Scrapy+Redis分布式爬虫...
毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis
06-08
Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），...
基于Scrapy+Redis+Python + Scrapy + redis的分布式爬虫设计源码+项目说明.zip
最新发布
01-07
Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数）...
分布式爬虫scrapy+redis入门
潇洒坤
07-30 296
利用分布式爬虫scrapy+redis爬取伯乐在线网站，网站网址：http://blog.jobbole.com/all-posts/ 后文中详情写了整个工程的流程，即时是新手按照指导走也能使程序成功运行。 1.下载64位redis软件 软件很小，4M，下载链接: https://pan.baidu.com/s/14mjeLoYJ_aFA91jq2oe2-...
python scrapy-redis
wy358509的博客
07-31 334
今天接触了scrapy redis 概念 记录下知识点。 安装可以在dos command 使用 pip install scrapy 和 pip install redis , 然后python 就会自动安装这两个库，真是比java 不知道高到哪里去了，pip 这个命令真好用。 scrapy 是爬虫框架 redis 为分布式数据库
Python爬虫之scrapy_redis概念作用和流程
不一样的花朵的博客
09-26 379
scrapy_redis概念作用和流程 学习目标 了解 分布式的概念及特点 了解 scarpy_redis的概念 了解 scrapy_redis的作用 了解 scrapy_redis的工作流程 在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据 1. 分布式是什么 简单的说 分布式就是不同的节点（服务器，ip不同）共同完成一个任务 2. scrapy_redis的概念 scrapy_redis是scrapy框架的
scrapy-redis去重优化（Scrapy+Redis+Bloomfilter）附Demo福利
xk1761299425的博客
11-13 3766
背景： 前些天接手了上一位同事的爬虫，一个全网爬虫，用的是scrapy+redis分布式，任务调度用的scrapy_redis模块。 大家应该知道scrapy是默认开启了去重的，用了scrapy_redis后去重队列放在redis里面。我接手过来的时候爬虫已经有7亿多条URL的去重数据了，再加上一千多万条requests的种子，redis占用了一百六十多G的内存（服务器，Centos7），总共才...
Python基于Scrapy-Redis分布式爬虫设计-计算机毕业源码设计
计算机源码设计案例的博客
04-02 609
开发环境：Python + Scrapy框架 + redis数据库 程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： schedul...
爬虫学习笔记（十二）—— scrapy-redis（一）：基本使用、介绍
别呀的博客
07-18 8515
一、分布式概念和作用 分布式：一个业务分拆多个子业务，部署在不同的服务器上;是一种将任务分布在不同地方的工作方式。 作用：提高安全性和效率 分布式爬虫： 默认情况下，我们使用scrapy框架进行爬虫时使用的是单机爬虫，就是说它只能在一台电脑上运行，因为爬虫调度器当中的队列queue去重和set集合都只能在本机上创建的，其他电脑无法访问另外一台电脑上的内存和内容。 分布式爬虫实现了多台电脑使用一个共同的爬虫程序，它可以同时将爬虫任务部署到多台电脑上运行，这样可以提高爬虫速度，实现分布式爬虫。 二、Scr
Python之Scrapy框架Redis实现分布式爬虫详解
colby_chenlun的博客
09-29 3725
1、创建scrapy工程 scrapy startproject youboy 2、scrapy工程目录介绍 │  main.py #爬虫程序入口cmdline.execute("scrapy  crawl youboySpider".split()) │  scrapy.cfg     └─spider_youboy     │  items.py #定义要存储的字段，
scrapy-redis分布式-------处理Redis里的数据
xiaoming0018的博客
05-23 1085
1. 处理Redis里的数据新浪新闻的数据爬回来了，但是放在Redis里没有处理。之前我们配置文件里面没有定制自己的ITEM_PIPELINES，而是使用了RedisPipeline，所以现在这些数据都被保存在redis的sina:items键中，所以我们需要另外做处理。在example-project目录下可以看到一个process_items.py文件，这个文件就是scrapy-redis的e...
基于python+scrapy+redis+rule组件实现分布式爬虫爬取京东华为笔记本
06-01
好的，您的问题是关于如何基于Python、Scrapy、Redis和Rule组件实现分布式爬虫爬取京东华为笔记本的。首先，您需要安装Scrapy和Redis，并在Scrapy的配置文件中添加Redis相关的配置： ```python # 在settings.py中添加以下配置 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" SCHEDULER = "scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST = True REDIS_URL = 'redis://localhost:6379' ``` 然后，您需要编写Spider和Item Pipeline，其中Spider负责解析并抓取网页，Item Pipeline负责处理抓取到的数据。下面是一个示例的Spider代码： ```python from scrapy_redis.spiders import RedisSpider from scrapy.selector import Selector from ..items import ProductItem class JdSpider(RedisSpider): name = 'jd' redis_key = 'jd:start_urls' def parse(self, response): sel = Selector(response) products = sel.xpath('//div[@class="gl-i-wrap"]') for product in products: item = ProductItem() item['name'] = product.xpath('div[@class="p-name"]/a/em/text()').extract_first() item['price'] = product.xpath('div[@class="p-price"]/strong/i/text()').extract_first() item['url'] = product.xpath('div[@class="p-name"]/a/@href').extract_first() yield item ``` 在Item Pipeline中，您可以对抓取到的数据进行清洗和存储，下面是一个示例的Item Pipeline代码： ```python import pymongo class JdPipeline(object): def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE', 'items') ) def open_spider(self, spider): self.client = pymongo.MongoClient(self.mongo_uri) self.db = self.client[self.mongo_db] def close_spider(self, spider): self.client.close() def process_item(self, item, spider): self.db['products'].insert(dict(item)) return item ``` 最后，您需要创建一个Redis队列，并向队列中添加起始URL，如下所示： ```python import redis r = redis.Redis(host='localhost', port=6379) r.lpush('jd:start_urls', 'https://search.jd.com/Search?keyword=%E5%8D%8E%E4%B8%BA%E7%AC%94%E8%AE%B0%E6%9C%AC&enc=utf-8') ``` 最终，您就可以运行分布式爬虫并抓取京东华为笔记本的数据了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值