框架在我git上面待完善,后续在发布c
1.环境搭建
基于miniconda搭建开发python环境
conda create -n hkex_spider python=3.7.3 -y
可指定目录创建
安装依赖库: pip install -r r.txt (txt文件在框架中)
异常一:安装pycurl可能出错
解决1:
conda install curl -y
解决2:
centos 安装pycurl
yum install python-devel curl-devel
pip3 install pycurl
解决3:
sudo pip uninstall pycurl
echo 'pycurl==7.19.5.1 --global-option="--with-nss"' > requires.py
sudo pip install -r requires.py
或者
pip install pycurl==7.19.5.1 --global-option="--with-nss‘’
异常二:mysql-python 问题
解决1:
yum -y install mysql-devel
异常三:bson 问题
解决1:
pip install pip==9.0.1
解决2:
wget https://files.pythonhosted.org/packages/62/03/5315c1bba25c90ba97574c9f0f15dc4bd7a545cae7594f6ee0f0ec46da3d/bson-0.5.0.tar.gz
tar -zxvf bson-0.5.0.tar.gz
cd bson-0.5.0
修改setup.py如图:
python setup.py build
python setup.py install
异常三:其他问题
解决1:
pip install pip==9.0.1
具体问题在发现解决
虚拟环境搭建完毕
2.配置supervisor
第一步:下载 supervisor
第二步:配置
a:初始化
将supervisord.conf 中 [include] 注释解开,使其下面对应的文件起作用,
对应创建 mkdir /etc/supervisord.d,在下面继续创建配置文件,touch hkex_spider.ini (文件在框架中)
b:配置生成文件,并启动生效
ini文件为hkex_spider.ini(可以直接下载修改配置,修改其中对应的路径即可)
c:从服务器区别
主从服务器的区别:部署pyspider的时候,只需要在主服务器开启webui地址,从服务无需开启
从服务器的配置均一样,配置supervisor时不用配置 [program:pyspider_webui] ,如图
3.启动supervisor,完成部署
启动命令:
sudo supervisorctl start pyspider_fetcher
停止命令:
sudo supervisorctl stop pyspider_fetcher
web地址 ip:
curl http://members.3322.org/dyndns/getip
4.修改框架配置文件
a:vim pyspider_config.json
mogo写方式:"mongodb+taskdb://10.11.255.110:31017/pyspider_taskdb"
b:vim ./plugin/configs.py
这个配置为 框架内部的配置,爬虫库,redis下载队列等等