python定时爬虫三种方法_python定时爬虫三种方法

import time

from scrapy import cmdline

def doSth():

# 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name

cmdline.execute('scrapy crawl zhilian_spider'.split())

# 想几点更新,定时到几点

def time_ti(h=17, m=54):

while True:

now = datetime.datetime.now()

# print(now.hour, now.minute)

if now.hour == h and now.minute == m:

doSth()

# 每隔60秒检测一次

time.sleep(60)

time_ti()

## 第二种

js中定时任务

超时 间歇调用

第一种方式: 修改配置文件

vim /etc/crontab

分 时 日 月 周 用户 命令

45 14 19 7 4 root echo '' >> /text.txt 7月19号周四 14点45分 执行 将内容追加到根目录下面的text.txt 中

## 第三种

crontab 命令

crontab -l 列出所有的定时任务 看不到配置文件中写的定时任务

crontab -e 新增计划任务 跟上面的区别在于 没有用户名

crontab -r 清空计划任务

分 时 日 月 周 命令

55 14 19 7 5 echo '' > /tmp/text.txt