scrapy cluster搭建实录

一、环境依赖

python2.7
redis
kafka(zookeeper)
scrapy cluster

二、预备工作
我的操作系统为Ubuntu

sudo ufw disable  #关闭防火墙
sudo apt-get install git #安装git 下载scrapy cluster用
sudo apt-get install net-tools #我主要是用到ifconfig看ip用
sudo apt-get install python-pip python-scrapy  #不必多说
sudo apt-get install vim
sudo apt-get install openjdk-8-jdk-headless #kafka的依赖 还是不要用这个了 巨坑 自己下载java8源码安装，配置环境变量用
#dns映射
sudo