【爬虫——00004】蜘蛛技能学习

上古时代第一支蜘蛛是?

scrapy.Spider
每个蜘蛛必须继承的蜘蛛
他提供了爬行的请求和相应的方法

第一支蜘蛛有那些技能?

两个方法一个属性
start_requests() 从发送请求的实现 start_urls spider属性并调用spider的方法 parse 对于每个结果响应。

定义蜘蛛的名称?

用name属性,这个值是唯一的,作用是实例化这只蜘蛛,也是这只蜘蛛的唯一标识符,所以必须唯一.

指定允许爬取的域名

allowed_domains 属性

作用是指定之后爬取的网页都在这个域名下

指定要爬取的url列表

start_urls 属性
蜘蛛将从中开始爬行的URL列表

Scrapy在请求未指定回调时用来处理下载响应的默认回调

parse(response)