文章目录
文章目录
以下是一个简单的例子,演示如何在 Flask 应用程序中使用 Scrapy 爬虫:
1.首先,创建一个 Scrapy 爬虫并测试是否可以正常工作。
2.在 Flask 应用程序中导入 Scrapy 爬虫的相关模块和函数,例如:
from scrapy import signals
from scrapy.crawler import CrawlerProcess
from myspider.spiders import MySpider
3.在 Flask 应用程序中定义一个函数,用于启动 Scrapy 爬虫并获取数据。例如:
def run_spider():
process = CrawlerProcess(settings={
'FEED_FORMAT': 'json',
'FEED_URI': 'items.json'
})
process.crawl(MySpider)
process.start()
从 Scrapy 爬虫生成的 JSON 文件中读取数据
with open('items.json', 'r') as f:
data = f.read()
return data
4.在 Flask 应用程序中定义一个路由,用于触发 Scrapy 爬虫并返回数据。例如:
@app.route('/scrape')
def scrape():
data = run_spider()
return data
结尾
现在,当你在浏览器中访问 Flask 应用程序的 /scrape 路由时,它将调用 run_spider() 函数来启动 Scrapy 爬虫并获取数据。然后,它将返回 Scrapy 爬虫生成的 JSON 数据。