RayMand168的博客

官网下载连接https://redis.io/downloadlinux下配置选择Stable(5.0)下的Download 5.0.0 链接进行下载 （stable是稳定版本，默认下载的是linux版本）下载完毕后，通过 xftp 传输到 /opt 文件夹进入opt文件夹，解压文件,进入到解压文件夹4.修改.conf 文件，1.将bind 127.0.0.1注释。2.关闭保护模式 protected-mode：yes改为no 3.daemonize 改为 yes（表示可以后台运行）5.

String命令解释get key获取key的值set key v设置key的值del key删除key的值incr key将储值加1decr key将储值减1List命令解释rpush key [v…]将一个或多个加入列表右端lpush key [v…]将一个或多个加入列表左端rpop key移除并返回最右端的元素lpop key移除并返回列表最左端的元素参考链接Redis

导读概念：搭建一个分布式的机群，让其对一组资源进行分布式爬取。作用：提升爬虫的效率如何实现分布式？1.安装scrapy-redis的组件2.scrapy-redis组件的作用： 可以给原生的scrapy框架提供可以被共享的调度器和管道。实现流程1.创建一个工程2.创建一个基于CrawlSpider的爬虫文件。3.修改当前的爬虫文件： 1. 导包： ```from scrapy_redis.spiders import RedisCrawlSpide