目标
- 掌握crontab的使用
1 crontab的安装和介绍
2 crontab在爬虫中的使用
2.1 使用流程
- 把爬虫启动命令写入
.sh
文件 - 给
.sh
脚本添加可执行权限 - 把
.sh
添加到crontab脚本正
2.2 myspier.sh例子
-
执行命令写入脚本
其中
>>
表示重定向,把print等信息导入log中2>&1
表示把标准错误作为标准输出,输入用0表示,标准输出用1表示,标准错误用2标识,通过该命令能够把错误一起输出到log中cd `dirname $0` || exit 1 python ./main.py >> run.log 2>&1
-
添加可执行权限
sudo chmod +x myspder.sh
-
写入crontab中
sh脚本文件也可能会报错,对应的可以把其输出和错误重定向到run2.log中
0 6 * * * /home/ubuntu/..../myspider.sh >> /home/ubuntu/.../run2.log 2>&1