给scrapy框架下爬虫设置定时
1.解析各个爬虫执行的文件
processSpider.py
import os
import re
class processAllSpider(object):
@staticmethod
def processSpider():
"""
取当前路径下的所有文件和文件夹
:return:
"""
for root, dirs, files in os.walk(os.getcwd()):
原创
2021-11-17 14:04:44 ·
850 阅读 ·
0 评论