windows server 2012部署基于flask的爬虫项目

最近遇到一个需求,需要将爬虫作为一个可供调用的模块,于是写好了爬虫的接口,由于其中用到的部分工具只有windows版本,所以必须部署在windows服务器上,特此总结一下.

注意事项:

1.apache+ python + mod_wsgi的版本一定要对应
本文版本:
apache:   Apache24 VC14
python:   3.6.7 64位      Windows x86-64 executable installer     python 3.6.7也是基于vc14的
mod_wsgi: mod_wsgi‑4.6.7+ap24vc14‑cp36‑cp36m‑win_amd64.whl

下载地址:
apache:
file:///D:/installPakge/apache_uwsgi/httpd-2.4.39-lre-2.9.2-x64-vc14/readme_first.html
python:
https://www.python.org/downloads/windows/
mod_wsgi:
https://www.lfd.uci.edu/~gohlke/pythonlibs/#mod_wsgi

1.安装python

windows-server2012安装python:

安装包下载:

https://www.python.org/downloads/windows/

注意要下载64位的安装包,否则后面部署的时候回出问题

更新系统补丁:

https://blog.csdn.net/flying_birds/article/details/91044275

https://blog.csdn.net/olewa_HHH/article/details/78987447

更新补丁后,点击安装即可,记得勾选上将python目录添加至环境变量

2.安装创建虚拟环境

安装;

pip install virtualenv

创建虚拟环境:

cd至要创建虚拟环境的目录下

virtualenv 虚拟环境名称

3.安装项目所需的第三方包

可以在原项目直接pip freeze > requirements.txt 生成环境包,但如果原项目的环境中有的包是有特殊依赖的,或者有些包并不是项目需要的,就需要手动安装

以本项目为例:

cd 至虚拟环境的scripts目录下,执行activate进入虚拟环境:

pip install selenium==3.141.0
pip install requests==2.18.4
pip install urllib3==1.22
pip install jsonpath==0.80
pip install lxml==3.7.2
pip install datetime
pip install flask==1.0.2
pip install pymysql==0.9.2
pip install kdl     关于代理的模块
pip install pytesseract==0.2.6

4.安装配置a