本文介绍了如何在Scrapy中通过CrawlerProcess对象并行启动名为fen和fuck的两个spider，展示了爬虫管理和执行的基本操作。
好使
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
process = CrawlerProcess(get_project_settings())
# 指定多个spider
process.crawl("fen")
process.crawl("fuck")
# 执行所有 spider
# for spider_name in process.spider_loader.list():
# print(spider_name)
# process.crawl(spider_name)
process.start()
2188
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
