爬虫类的介绍
Scrapy框架中的Spider是没有提供其他功能的爬虫类。需要我们自己去关注具体网页URL的提取和URL的回调。
Scrapy框架还提供了一些具有其他功能的爬虫类。这些类都继承自Spider类。
CrawlSpider:爬取一般网站常用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。
这个类让我们可以对拥有一定规则的URL进行跟进。在一般网站中通常具有相同主题网页的URL中有一部分是相同的。这样我们通过对URL特征的判断就可以判断这个URL的网页是不是我们要抓取的页面。而不用去跟进(加载)所有的网页。
XMLFeedSpider: XMLFeedSpider被设计用于通过迭代各个节点来分析XML源(XML feed)。
这个类通常是用于爬去XML文档的网页。
CSVFeedSpider:对特定CSV网页的爬取
该spider除了其按行遍历而不是节点之外其他和XMLFeedSpider十分类似。 而其在每次迭代时调用的是 parse_row() 。
SitemapSpider:通过对xml网站地图(xml Sitemaps)的协议的访问发现URL。
通过对协议的访问提取允许访问的URL。并跟进。
这里也可以按特定的规则进行跟进。
还有一种通用爬虫(broad crawls)。用也爬去大量的网站。以上的几种爬虫都是特定爬虫。通用爬虫一般是用于搜索引擎
CrawlSpider
除了从Spider继承过来的(您必须提供的)属性外,其提供了一个新的属性:
属性
rules
一个包含一个(或多个) Rule 对象的集合(list)。 每个 Rule 对爬取网站的动作定义了特定表现。 Rule对象在下边会介绍。 如果多个rule匹配了相同的链接,则根据他们在本属性中被定义的顺序,第一个会被使用。
可复写的方法
parse_start_url(response)
当start_url的请求返回时,该方法被调用。 该方法分析最初的返回值并必须返回一个 Item 对象或者 一个 Request 对象或者 一个可迭代的包含二者对象。
爬取规则(Crawling rules)
class scrapy.contrib.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None)
link_extractor 是一个 Link Extractor 对象。 其定义了如何从爬取到的页面提取链接。callback 是一个callable或string(该spider中同名的函数将会被调用)。 从link_extractor中每获取到链接时将会调用该函数。该回调函数接受一个response作为其第一个参数, 并返回一个包含 Item 以及(或) Request 对象(或者这两者的子类)的列表(list)。
警告
当编写爬虫规则时,请避免使用 parse 作为回调函数。 由于 CrawlSpider 使用 parse 方法来实现其逻辑,如果 您覆盖了 parse 方法,crawl spider 将会运行失败。
cb_kwargs 包含传递给回调函数的参数(keyword argument)的字典。
follow 是一个布尔(boolean)值,指定了根据该规则从response提取的链接是否需要跟进。 如果 callback 为None, follow 默认设置为 True ,否则默认为 False 。
process_links 是一个callable或string(该spider中同名的函数将会被调用)。 从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤。
process_request 是一个callable或string(该spider中同名的函数将会被调用)。 该规则提取到每个request时都会调用该函数。该函数必须返回一个request或者None。 (用来过滤request)
### Link Extractor 对象
其定义了如何从爬取到的页面提取链接。是对网页提取链接的具体封装。
在网页中如果我们的到的不是最终的URL我们需要特定转换才能得到。这时我们就需要自定义我们自己的Link Extractor 类
建自己定制的Link Extractor
Scrapy默认提供2种可用的 Link Extractor, 但你通过实现一个简单的接口创建自己定制的Link Extractor来满足需求。 Scrapy 提供了 scrapy.contrib.linkextractors import LinkExtractor , 不过您也可以通过实现一个简单的接口来创建您自己的Link Extractor,满足需求。
每个LinkExtractor有唯一的公共方法是 extract_links ,
参数:其接收 一个 Response 对象,
返回值:并返回 scrapy.link.Link 对象。
Link Extractors只实例化一次,其 extract_links 方法会根据不同的response被调用多次来提取链接。Link Extractors在 CrawlSpider 类(在Scrapy可用)中使用, 通过一套规则,但你也可以用它在你的Spider中,即使你不是从 CrawlSpider 继承的子类, 因为它的目的很简单: 提取链接。
内置Link Extractor 参考
Scrapy 自带的Link Extractors类在 scrapy.contrib.linkextractors 模块提供。
默认的link extractor 是 LinkExtractor ,其实就是 LxmlLinkExtractor:
from scrapy.contrib.linkextractors import LinkExtractor
在以前版本的Scrapy版本中提供了其他的link extractor,不过都已经被废弃了。
LxmlLinkExtractor
class scrapy.contrib.linkextractors.lxmlhtml.LxmlLinkExtractor(
allow=(),
deny=(),
allow_domains=(),
deny_extensions=None,
restrict_xpaths=(),
tags=(‘a’, ‘area’),
attrs=(‘href’, ),
canonicalize=True,
process_value=None)lxmllink萃取器是推荐的链接提取器,具有方便的过滤选项。它是使用lxml的健壮的HTMLParser实现的。
参数:
allow (a regular expression (or list of))
一个正则表达式(或正则表达式的列表),必须匹配(绝对)url,以便提取。如果没有给定(或空),它将匹配所有链接。deny (a regular expression (or list of))
一个正则表达式(或正则表达式的列表),(绝对)url必须匹配才能被排除(例如。不提取)。它优先于允许参数。如果没有给定(或空),它不会排除任何链接。allow_domains (str or list)
单个值或包含域的字符串列表,这些域将被考虑用于提取链接deny_domains (str or list)
单个值或包含域的字符串列表,这些域是不考虑提取链接的deny_extensions (list)
当提取链接时,应该忽略一个包含扩展的字符串的单一值或列表。如果没有给出,它将默认为在剪贴簿中定义的无知扩展列表。linkextractor模块。restrict_xpaths (str or list)
是一个XPath(或XPath列表),它定义了响应中应该从何处提取链接的区域。如果给定,只有XPath选择的文本将被扫描为链接。请参见下面的例子。tags (str or list)
在提取链接时需要考虑的标记或标记列表。默认为 (‘a’, ‘area’).canonicalize (boolean)
每个url(使用scrapy.utils.url.canonicalize_url)提取规范化。默认值为True。process_value (callable)
它接收来自扫描标签和属性提取每个值, 可以修改该值, 并返回一个新的, 或返回 None 完全忽略链接的功能。如果没有给出, process_value 默认是 lambda x: x。
CrawlSpider样例
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor
class MySpider(CrawlSpider):
name = 'example.com'
allowed_domains = ['example.com']
start_urls = ['http://www.example.com']
rules = (
# 提取匹配 'category.php' (但不匹配 'subsection.php') 的链接并跟进链接(没有callback意味着follow默认为True)
Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),
# 提取匹配 'item.php' 的链接并使用spider的parse_item方法进行分析
Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
)
def parse_item(self, response):
self.log('Hi, this is an item page! %s' % response.url)
item = scrapy.Item()
item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
item['name'] = response.xpath('//td[@id="item_name"]/text()').extract()
item['description'] = response.xpath('//td[@id="item_description"]/text()').extract()
return item