python 定时自动爬取_怎么在python中利用Scrapy实现一个定时爬虫功能

怎么在python中利用Scrapy实现一个定时爬虫功能

发布时间：2021-01-18 16:20:54

来源：亿速云

阅读：57

作者：Leah

这期内容当中小编将会给大家带来有关怎么在python中利用Scrapy实现一个定时爬虫功能，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。

1、Scrapy介绍

Scrapy是python的爬虫框架，用于抓取web站点并从页面中提取结构化的数据。任何人都可以根据需求方便的修改。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

2、使用Scrapy框架定时爬取import time

from scrapy import cmdline

def doSth():

# 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name

cmdline.execute('scrapy crawl zhilian_spider'.split())

# 想几点更新,定时到几点

def time_ti(h=17, m=54):

while True:

now = datetime.datetime.now()

# print(now.hour, now.minute)

if now.hour == h and now.minute == m:

doSth()

# 每隔60秒检测一次

time.sleep(60)

time_ti()

3、更简单的写法import time

import sys

i