scrapy-redis分布式爬虫 部署

scrapy-redis分布式爬虫

redis是Nosql数据库中使用较为广泛的非关系型内存数据库，redis内部是一个key-value存储系统。
多种类型 string(字符串)、list(列表)、set(集合)、zset(有序集合)和hash（哈希类型
Redis基于内存运行并支持持久化的NoSQL数据库，读写的效率高。

Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。

Redis支持数据的备份，即master-slave模式的数据备份。

、、、、、、、、、、、、、、、、、、、、、、、、、、、

部署

1.终端登录服务器
2.配置python环境
安装相关的配件
3.修改scrapyd的配置文件，允许外网访问
查找配置文件的路径：find -name default_scrapyd.conf
修改配置文件: sudo vim 路径
4.进入服务安全组选项添加安全组
新建项目 配置允许访问6800端口
返回菜单 找到配置安全组菜单，跟换为刚才添加的安全组
最终完成后，在浏览器中输入ip地址和端口,显示如下图，说明配置成功

最后把项目部署服务器
1.首先需要修改scrapyd.egg (项目的配置文件)
[deploy]

url = http://118.24.255.219:6800

project=项目名称
项目部署： scrapyd-deploy -p <项目名称>

genapy

更方便地控制爬虫运行
更直观地查看爬虫状态
更实时地查看爬取结果
更简单地实现项目部署
更统一地实现主机管理
提供在线编辑代码功能

Greapy 安装和使用

step1: gerapy下载

pip3 install gerapy
查看是否安装成功： gerapy

step2: 初始化gerapy

进入到指定目录下（例如桌面）执行如下命令 gerapy init
执行完毕之后，便会在桌面下生成一个名字为 gerapy 的文件夹，接着进入该文件夹，可以看到有一个 projects 文件夹

step3: 初始化数据库

进入到gerapy文件夹下
cd gerapy
执行(会在gerapy目录下生产一个sqlite数据库，同时创建数据表，数据库中会保存各个主机配置信息、部署版本等)
gerapy migrate

step4: 运行gerapy服务

gerapy runserver

step5:访问gerapy管理界面

在浏览器中输入如下网址

http://127.0.0.1:8000

step6:在主机管理中添加个台主机的Scrapyd运行地址和端口，并设置名称，然后个台主机则会出现在主机列表中，Gerapy会监控个台主机的运行状态