crontab定时启动scrapy爬虫

部署到测试环境，并设置定时启动任务

• 通过FileZille工具，将本地的文件上传到测试服务器上面的python文件夹中

• 在与spider同级目录下写一个shell脚本，启动所编辑的运行爬虫文件

  vi run.sh

    1 #! /bin/sh
    2 export PATH=$PATH:/usr/local/bin
    3 cd /data/project/python/...../run
    4 nohup python3 run_all_spider.py >/dev/null 2>&1 &
  

  注意：当编写完.sh文件的时候，还需要记得给其添加可执行权限

  ​ sudo chmod +x run.sh

• 设置定时任务

  crontab介绍（apt-get install cron）

  ​

  crontab -e [UserName]: 执行文字编辑器来设定时程表，内定的文字编辑器是 vi
  crontab -r [UserName]: 删除目前的时程表
  crontab -l [UserName]: 列出目前的时程表
  crontab -v [UserName]:列出用户cron作业的状态
  

  编辑：

  ​ 分 小时 日 月 星期 命令

  0-59 0-23 1-31 1-12 0-6 command

  * * * * * * command
  11 11 * * * command  每天十一点十一分执行任务
  */10 * * * * command  每10分钟执行一次命令
  
  注意：
   1:星期中0表示周日
   2：每隔几个小时的时候前面的分钟不能为*，为*表示分钟都会执行，用0表示
   
  

• 写入到crontab中

  sh脚本文件也可能会报错，对应的可以把其输出和错误重定向到run_run.log中

  0 6 * * * /data/project/python/../run.sh >> /data/project/python/....../run_log.log 2>&1