Scrapy定时爬取任务(CentOS)

最近写了个自动采集电影和图片的网站,用的是Scrapy,下面介绍一下在Centos下面如何设置定时爬取任务。

安装Crontab

1、检查是否安装crontab

执行crontab命令,如果报command not found,则表明没有安装。

2、安装crontab

yum install -y vixie-cron

3、检查是否安装成功

crontab -l

上述命令会列出所有配了定时执行的任务。如下所示:
这里写图片描述

4、看是否设置了开机启动

chkconfig --list crond

默认情况下安装完成之后,会设置成开机自动启动,如下所示:
这里写图片描述

5、启动crontab

service crond start

设置定时任务

首先创建shell脚本如下:

#! /bin/sh

export PATH=$PATH:/usr/local/bin
# 跳转至Scrapy项目目录
cd /root/project/zhyuge-py
# 后台运行抓取,并将日志输出到tp169.log文件
nohup scrapy crawl tp169 >> logs/tp169.log 2>&1 &

保存文件后,然后执行

crontab -e

在vi编辑器中创建定时器如下:

# 每隔2小时抓取一次
0 */2 * * *  sh /root/project/cron/tp169.sh 

然后使用下面命令可以查看已经创建的定时器任务。

crontab -l

链接:http://moguhu.com/article/detail?articleId=72

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值