如果你不了解如何安装Scrapy们可以参考我另一篇文章。
1.创建一个爬虫项目
scrapy startproject myCrawler
2.目录结构
myCrawler 下含有
myCrawler scrapy.cfg
myCrawler 下含有
items.py pipelines.py setting.py _in
本文介绍了Scrapy框架的创建步骤和基本目录结构，包括scrapy.cfg配置文件、items.py、pipelines.py和spiders目录的作用。还详细阐述了Scrapy爬虫的执行顺序：从启动到读取配置，执行爬虫程序，解析HTML，处理数据并存储。接下来的文章将深入探讨爬虫文件编写和实际应用。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
