Centos7搭建Scrapy爬虫环境

写在前面

因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一下,方便以后复习…

一.替换pyhton2版本为python3

1.我这里的云服务器是Centos7系统,默认安装的是python2.7的版本,但是,我个人也是不喜欢老的东西,而且好像python2的版本到2020年就不再维护了,所以,我这里也推荐大家使用python3的版本

2.下载安装

wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tgz

我下载的是python3.5的

接下来,就是编译安装,在编译安装前需要构建编译环境,安装gcc

yum -y install gcc

gcc安装的东西有点多,稍微等一下
然后,默认编译就好

接着,使用make & make install 安装,

这里的话 ,会多等一会儿 ,去喝杯茶先把,,哈哈 开玩笑的啦

3.安装完成之后,我们输入python,这个时候任然是python2版本,需要重新定义软连接,重新建立指向

mv /usr/bin/python /usr/bin/python27
ln