scrapy与python3.7兼容吗_centos 7.5安装python3.7并配置好scrapyd和scrapydweb

一.安装python3.7

1.安装依赖包

yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make libffi-devel

2.下载python3.7源码包、解压并进入目录

wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz

tar -xzvf Python-3.7.0.tgz

cd Python-3.7.0

3.编译并安装

./configure prefix=/usr/local/python3make && make install

4.添加bin目录至系统PATH变量中

#打开系统profile文件vi /etc/profile

#在最后添加，并保存

export PATH=$PATH:/usr/local/python3/bin

#马上生效

source/etc/profile

5.将默认的python命令改为python3

#输出python命令位置，我的在/usr/bin/python，其实它是/usr/bin/python2的软链接whichpython

#备份一下mv /usr/bin/python /usr/bin/python_bak

#添加python->python3和pip->pip3的软链接ln -s /usr/local/python3/bin/python3.7 /usr/bin/pythonln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip

#这时可以测试下

python-V

6.更改yum配置，因为yum使用的是python2

vi /usr/bin/yum把 #! /usr/bin/python 修改为 #! /usr/bin/python2vi /usr/libexec/urlgrabber-ext-down

把 #! /usr/bin/python 修改为 #! /usr/bin/python2

二.安装和配置scrapyd

1.安装运行scrapyd

#安装

pipinstallscrapyd

#运行

scrapyd

启动后，scrapyd默认监听的127.0.0.1的6800端口，这时访问:http://127.0.0.1:6800,如果想让其它主机访问，或想改端口，需要进入下一步操作。

2.配置

scrapyd启动会在以下位置查找配置文件：

/etc/scrapyd/scrapyd.conf (Unix)

c:\scrapyd\scrapyd.conf (Windows)

/etc/scrapyd/conf.d/* (in alphabetical order, Unix)

scrapyd.conf(运行目录)

~/.scrapyd.conf (users home directory)

我们根据需要创建scrapyd.conf,这里我是在运行目录 ，我们可以通过 find / -name scrapyd来查找scrapyd的安装目录 ，在安装目录 里有一个default_scrapyd.conf是默认的配置文件，我们可以以此为模板来修改成我们需要的。

其中

bind_address为绑定ip，修改成0.0.0.0，其它主机就可以访问了

http_port为监听的端口

三.安装和配置scrapydweb

1.安装和运行

#安装scrapydweb

pipinstallscrapydweb

#logparser是一个日志解析工具，可以把日志解析后发送给scrapyweb

pipinstalllogparser

#新建一个目录 并在此目录下运行mkdirscrapydwebtest

cd scrapydwebtest

scrapydweb

2.配置

运行后有可能会不成功，不管成功与否都会在目录 下生成 scrapydweb_settings_v10.py 文件，此文件为scrapydweb的配置文件，如果不成功会要求修改其内的SCRAPYD_SERVERS.此项为配置scrapyd的服务地址。根据自已的情况配置，我的配置如下：

SCRAPYD_SERVERS =['127.0.0.1:6800',

#'username:password@localhost:6801#group',

# ('username', 'password', 'localhost', '6801', 'group'),

]

配置文件内的注释还是比较详尽的，大部分一看就会明白，同时可以参考这篇文章：https://zhuanlan.zhihu.com/p/99449687