crontab+scrapy+linux普通用户实现定时爬虫

crontab+scrapy+linux普通用户实现定时爬虫

第一步：创建一个可执行的linux脚本，后缀为.sh
vim /home/luochuangjie/test.sh(你自己的工作路径)

第二步：在test.sh里边编写脚本命令

#run spider
/home/luochuangjie/anaconda3/bin/python3 /home/luochuangjie/test.py >> kol.log 2>&1

（注意在python3后边有一个空格，因为我有两个python版本，所以我用了绝对路径，感觉不用应该也行）
第三步：在crontab配置文件中添加命令。
$ crontab -e
第一次会让你选择文件，看着选就行了
然后在里边输入

* * * * * sh /home/luochuangjie/linu.sh >> kol-timer.log 2>&1

（同样，这边sh后边也有一个空格，前边代表命令，后边代表可执行脚本的绝对路径）
、* * * * * 分别代表 分 时 日 月 周，*号则等同于“每”，我这边五个、*号表示每分钟执行一次。
可根据需求自行设定。