python实现scrapy定时执行爬虫

最新推荐文章于 2024-06-28 15:39:28 发布

hjhkkkl

最新推荐文章于 2024-06-28 15:39:28 发布

阅读量3.7k

点赞数 3

分类专栏： scrapy python 文章标签： python

本文链接：https://blog.csdn.net/Thoms_/article/details/87361678

版权

该项目需求是在超算中心定时运行Python Scrapy爬虫。文章介绍了两种实现方式：使用Timer类和标准库的sched模块。然而，由于cmdline的限制，Scrapy在定时执行时只能运行一次。作者提到一种替代方案，即使用小伙伴提供的方法来解决这个问题。

摘要由CSDN通过智能技术生成

项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。
最简单的方法：直接使用Timer类

import time
import os

while True:
    os.system("scrapy crawl News")
    time.sleep(86400)  #每隔一天运行一次 24*60*60=86400s

或者，使用标准库的sched模块

import sched
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )

#被周期性调度触发的函数
def func():
    os.system("scrapy crawl News")
def perform1(inc):
    schedule.enter(inc,0,perform1,(inc,))
    func()    # 需要周期执行的函数
def mymain():
    schedule.enter(0,0,perform1,(86400,))

if __name__=="__main_