Scrapy 是一个 Python 编写的爬虫框架,提供了许多命令来帮助你管理爬虫项目。
以下是常用的 Scrapy 命令:
scrapy startproject
: 创建新的爬虫项目。scrapy genspider
: 创建新的爬虫。scrapy crawl
: 运行爬虫。scrapy shell
: 启动 Scrapy shell,可以在交互式命令行中测试爬虫代码。scrapy view
: 打开给定 URL 的页面,方便调试。scrapy fetch
: 使用 Scrapy 的下载器下载给定 URL 的页面。