发布工程

1. 备份python包

进入当前项目目录:
pip freeze > requirements.txt

2. 还原python包

pip install -r requirements.txt

3. linux安装虚拟环境

pip install virtualenv

创建虚拟环境
virtualenv py_venv

进入虚拟环境
cd py_venv/bin
~/py_venv/bin$ source activate

退出虚拟环境
deactivate

4. 安装virtualenvwrapper

sudo pip3 install virtualenvwrapper

创建虚拟环境管理目录
mkdir $HOME/.virtualenvs

修改 ~/.bashrc文件, 加入:
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
export WORKON_HOME='~/.virtualenvs'
source /usr/local/bin/virtualenvwrapper.sh

运行
source .bashrc

创建虚拟环境
mkvirtualenv [虚拟环境名称]
workon [虚拟环境名称]

删除虚拟环境
rmvirtualenv [虚拟环境名称]

4. 查看python所在路径

which python3

发布工程

• 配置sftp服务器
  Tools->Deployment->SFTP

  Connection:
  Host, User name, Password
  Root path

  Mappings:
  Deployment path

• 上传工程
  右选中工程->Deployment->Upload to …

编写sh脚本执行py

• 编写run.sh文件

#!/bin/sh
cd `dirname $0` || exit 1
python3 hello.py >> hello.log 2>&1

• 给run.sh加执行权限

~$ chmod +x test.sh

• 执行run.sh

~$ ./run.sh

crontab定时任务

• 使用cron服务定时执行程序

• 命令:

  • crontab -e 打开crontab文件, 编写定时任务
  • crontab -l 查看crontab文件内容

• 格式
  分 时 日 月 星期 命令
  0-59 0-23 1-31 1-12 0-6 …

• 例如:
  45 8 15 * * ll //每月15日 8点45分 执行ll命令
  */30 * * * * ls // 每间隔30分钟 执行ls命令
  0 */6 * * * ls // 每间隔6小时 执行ls命令

• 每分钟执行一次run.sh, 输出信息保存到run.log中

* * * * * /home/ken/run.sh >> /home/ken/run.log 2>&1

• 结束定时任务需要在crontab文件中删除相关内容

scrapyd部署

• 安装

pip install scarpyd # 云服务器
pip install scrapyd-client # 本地

• 启动scrapyd服务(云服务器)

linux:
/etc新建目录: scrapyd
windows:
/etc/scrapyd新建文件: scrapyd.conf
c盘新建目录: scrapyd/scrapyd.conf

修改 scrapyd.conf:
[scrapyd]
bind_address = 服务器外网ip

终端输入:
scrapyd

客户端浏览器输入:
http://云服务ip:6800

• 部署

打开scrapy.cfg文件:
[deploy]
url = http://云服务ip:6800/

客户端终端输入:
scrapyd-deploy # 递交工程到服务器端

• 启动爬虫

curl http://云ip:6800/schedule.json -d project=工程名 -d spider=爬虫名

客户端打开scrapyd网页, jobs页面, 爬虫正在运行.

• 暂停爬虫

curl http://云ip:6800/cancel.json -d project=工程名 -d job=JOBID

如果prevstate为null, 代表爬虫执行结束.
如果prevstate为running, 代表爬虫还在运行.