centos7 分布式部署pyspider

框架在我git上面待完善，后续在发布c

1.环境搭建

基于miniconda搭建开发python环境

conda create -n hkex_spider python=3.7.3 -y

可指定目录创建

安装依赖库： pip install -r r.txt     （txt文件在框架中）

异常一：安装pycurl可能出错
解决1：

conda install curl -y

解决2：

centos 安装pycurl
yum install python-devel curl-devel
pip3 install pycurl

解决3：

sudo pip uninstall pycurl
echo 'pycurl==7.19.5.1 --global-option="--with-nss"' > requires.py
sudo pip install -r requires.py 
或者
pip install pycurl==7.19.5.1 --global-option="--with-nss‘’

异常二：mysql-python 问题
解决1：

yum -y install mysql-devel 

异常三：bson 问题
解决1：

pip install pip==9.0.1

解决2：

wget https://files.pythonhosted.org/packages/62/03/5315c1bba25c90ba97574c9f0f15dc4bd7a545cae7594f6ee0f0ec46da3d/bson-0.5.0.tar.gz
tar -zxvf bson-0.5.0.tar.gz
cd bson-0.5.0

修改setup.py如图：

python setup.py build
python setup.py install

异常三：其他问题
解决1：

pip install pip==9.0.1
具体问题在发现解决

虚拟环境搭建完毕

2.配置supervisor

第一步：下载 supervisor

第二步：配置
a：初始化

将supervisord.conf 中 [include] 注释解开，使其下面对应的文件起作用，

对应创建 mkdir /etc/supervisord.d，在下面继续创建配置文件，touch hkex_spider.ini  （文件在框架中）

b：配置生成文件，并启动生效

ini文件为hkex_spider.ini（可以直接下载修改配置，修改其中对应的路径即可）

c：从服务器区别

主从服务器的区别：部署pyspider的时候，只需要在主服务器开启webui地址，从服务无需开启

从服务器的配置均一样，配置supervisor时不用配置 [program:pyspider_webui] ，如图

3.启动supervisor，完成部署

启动命令：

sudo supervisorctl start pyspider_fetcher

停止命令：

sudo supervisorctl stop pyspider_fetcher

web地址 ip：

curl http://members.3322.org/dyndns/getip

4.修改框架配置文件

a：vim pyspider_config.json

   mogo写方式："mongodb+taskdb://10.11.255.110:31017/pyspider_taskdb"

b：vim ./plugin/configs.py

   这个配置为 框架内部的配置，爬虫库，redis下载队列等等