scrapy定时爬取和断点测试

scrapy定时爬取：每10分钟爬取一次

      爬虫文件下新建main.py文件，代码如下：

      

import os
import time
while True:
    print('启动爬虫程序.........')
    os.system("scrapy crawl spider")
    print('爬虫结束..........')
    time.sleep(10*60)

 

scrapy断点测试

      爬虫文件下新建main.py文件，代码如下：

     

from  scrapy import cmdline

cmdline.execute("scrapy crawl spider".split())

 

启动main.py文件即可