在mac下用crontab来定时执行scrapy爬虫命令

Crontab这个命令是在linux下来执行定时执行任务的指令,但是在mac下同样用这一指令来实现定时执行任务。但是在用到scrapy爬虫的时候,会有两个比较常见的问题导致定时爬取不成功,接下来将详细介绍如何在mac下执行crontab指令来完成相关定时任务。

一、启动crontab -e来编辑自己定义的任务

例如我想在每天的17:30分来定时执行此任务,那么相关的配置符合条件的命令为:

30 17 * * *,具体的定义自己的命令可以参考http://www.jb51.net/LINUXjishu/19905.html

手动执行时,在工程目录下输入scrapy crawl xxx可以执行脚本了,但是用crontab时,如果直接在crontab -e中输入30 17 * * * scrapy crawl xxx,则定时任务不会生效,因为不知道crontab执行时,其所处的目录,很有可能就没有scrapy命令了。

二、解决此问题之道

为了解决这个问题,尝试用30 17 * * * /usr/local/bin/scrapy crawl xxx,但是加了这个指令貌似可以解决不生效的问题,但是又有新的问题了,即找不到crawl命令,在不同的路径下scrapy后面跟的命令不一样,只有在scrapy工程目录下才会有crawl命令,因此,需要先进入到工程目录下再执行启动命令,因此,书写如下crontab的指令:30 17 * * * cd /users/sunwangdong/desktop/tsinghua && /usr/local/bin/scrapy crawl xxx,这样就能够正确执行定时指令了


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值