非框架爬虫代码部署到服务器步骤

非框架爬虫代码部署到服务器步骤

Python Linux环境安装、爬虫脚本部署和定时执行爬虫脚本
一、Linux环境下安装python
1、下载python Linux安装包，最好和Windows版本一样
wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz
也可以直接去官方网站直接下载
下载地址：https://www.python.org/downloads/source/
2、进入linux cmd，安装依赖环境，出现Complete代表安装完成
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
3、安装gcc编译器，出现Complete代表安装完成。
yum install gcc -y
4、将下载的安装包放到linux的/usr/local目录下，解压到当前目录，创建目录/usr/local/python3：
cd /usr/local

tar xf Python-3.8.0.tgz

mkdir /usr/local/python3
5、进入Python-3.8.0目录，配置安装目录，这里的安装目录对卸载的时候很友好，建议配置
cd /usr/local/Python-3.8.0

./configure --prefix=/usr/local/python3
6、编译源码并执行源码安装，如图，则代表安装完成，可以看到setuptools和pip也安装成功了
make

make install
7、创建软连接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3

ls -l /usr/bin/python3
8、输入python3，查看是否安装成功， 如图， 安装成功

9、pip3创建软连接，查看pip3版本
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

pip3 -V
10、配置环境变量
vi ~/.bash_profile

输入：

#配置python
export PYTHON_HOME=/usr/local/Python