crontab定时任务执行Scrapyd爬虫以及日志查看

我是花臂不花

已于 2023-06-08 13:41:13 修改

阅读量2.2k

点赞数 4

分类专栏：随笔大杂烩文章标签： linux

于 2021-10-20 14:53:50 首次发布

本文链接：https://blog.csdn.net/u010226586/article/details/120866190

版权

本文介绍了如何利用crontab进行定时任务的配置，包括基本操作如查看、编辑和删除crontab，以及crontab的基本格式。在问题排查部分，提到了日志查看方法，如通过/var/log和/var/spool/mail/root来检查执行日志。实战部分详细阐述了创建.sh脚本，设置每半小时执行一次的Scrapyd爬虫任务，以及查询任务信息和状态。

摘要由CSDN通过智能技术生成

crontab系统自带的调度命令，通过crontab命令，我们可以在固定的间隔时间执行指定的系统指令或 shell script脚本。时间间隔的单位可以是分钟、小时、日、月、周及以上的任意组合。这个命令非常适合周期性的日志分析或数据备份等工作。

一、基本操作

查看 crontab 是否启动

sudo launchctl list | grep cron

crontab服务的重启，关闭，开启

mac系统下

sudo /usr/sbin/cron start
sudo /usr/sbin/cron restart
sudo /usr/sbin/cron stop

ubuntu:

$sudo /etc/init.d/cron start
$sudo /etc/init.d/cron stop
$sudo /etc/init.d/cron restart

centos:

$systemctl status crond.service 查看cron服务的启动状态
$systemctl start crond.service  启动cron服务[命令没有提示]
$systemctl stop crond.service 停止cron服务[命令没有提示]
$systemctl restart crond.service 重启cron服务[命令没有提示]
$systemctl reload crond.service 重新加载cron服务[命令没有提示]

crontab命令

crontab [-u user] file crontab [-u user] [ -e | -l | -r ]

命令参数

-u user：用来设定某个用户的crontab服务；
file：file是命令文件的名字,表示将file做为crontab的任务列表文件并导入crontab。如果在命令行中没有指定这个文件，crontab命令将接受标准输入（键盘）上键入的命令，并将它们载入crontab。
-e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。
-l：显示某个