本文介绍了Scrapy框架的爬虫工作原理，特别是`parse`方法的执行过程和`yield`的作用。详细讲解了如何使用Item封装数据以及Item Pipeline的配置和功能，包括`process_item`、`open_spider`和`close_spider`等方法。此外，还提到了Scrapy中的XPath和CSS选择器用于数据提取，以及在实际使用中遇到的问题和解决经验。
创建项目:scrapy startproject 项目名
创建爬虫:scrapy genspider spiderName www.xxx.com（爬虫的名字，起始的url）
执行爬虫:scrapy crawl spiderName
Scapy 之 Spider
Spider是一个基类,开发需要继承这个Spider基类,包含多个方法
start_reqeusts():设置起始url后由该默认方法构建Request对象，如果我们写自己的逻辑,比如模拟登陆等,需要重写父类方法.
def parse(self, response):默认解析方法,
工作:
1.提取数据，将数据封装后（Item或字典）提交给Scrapy引擎；
2.提取链接，并用链接构造新的Request对象提交给Scrapy引擎；其中，提取链接的方法包括使用选择器或使用LinkExtractor
Spider 之 yield:
类似于return,但又不同
结构:
allowed_domains &
最低0.47元/天 解锁文章
扫一扫
1089
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
