本文详细介绍了Scrapy框架中Spider的运行流程和主要方法，包括start_requests()、parse()、custom_settings等，以及如何通过Spider进行HTTP请求的定制。通过对start_urls的设置和start_requests方法的重写，展示了如何进行GET和POST请求。同时，还讲解了Spider的日志输出、回调函数以及在关闭时的close()方法。
Scrapy框架中Spider的用法
在Scrapy里面，要抓取网站的链接配置、抓取逻辑、解析逻辑里，都是在Spider里面去完成的。
一、Spider的运行流程
在实现Scrapy爬虫项目里面，最核心的就是Spider类了，它定义了如何爬取某个网站的流程和解析方式。简单来讲，Spider就做两件事情：
-
定义爬取的动作
-
分析爬取下来的网页
对于Spider类来说，整个流程如下，可以参考中文官方文档：
-
以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生成response，并作为参数传给该回调函数。spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中 的URL， 并以 parse 为回调函数生成 Request 。
最低0.47元/天 解锁文章
739
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
