Scrapy 使用LinkExtractor提取链接

LinkExtractor的使用非常简单，通过一个例子进行讲解，使用LinkExtractor替代Selector完成BooksSpider提取链接的任务，代码如下：

from scrapy.linkextractors import LinkExtractor
class BooksSpider(scrapy.Spider):
    ...
    def parse(self, response):
        ...
        # 提取链接
        # 下一页的url 在ul.pager > li.next > a 里面
        # 例如: <li class="next"><a href="catalogue/page-2.html">next</a></li>
        le = LinkExtractor(restrict_css='ul.pager li.next')
        links = le.extract_links(response)
        if links:
            next_url = links[0].url
            yield scrapy.Request(next_url, callback=self.parse)

对上述代码解释如下：
● 导入LinkExtractor，它位于scrapy.linkextractors模块。
● 创建一个LinkExtractor对象，使用一个或多个构造器参数描述提取规则，这里传递给restrict_css参数一个CSS选择器表达式。它描述出下一页链接所在的区域（在li.next下）。
● 调用LinkExtractor对象的extract_links方法传入一个Response对象，该方法依据创建对象时所描述的提取规则，在Response对象所包含的页面中提取链接，最终返回一个列表，其中的每一个元素都是一个Link对象，即提取到的一个链接。
● 由于页面中的下一页链接只有一个，因此用links[0]获取Link对象，Link对象的url属性便是链接页面的绝对url地址（无须再调用response.urljoin方法），用其构造Request对象并提交。
通过上面的例子，相信大家已经了解了使用LinkExtractor对象提取页面中链接的流程。

下面依次介绍LinkExtractor构造器的各个参数：
● allow
接收一个正则表达式或一个正则表达式列表，提取绝对url与正则表达式匹配的链接，如果该参数为空（默认），就提取全部链接。

● deny
接收一个正则表达式或一个正则表达式列表，与allow相反，排除绝对url与正则表达式匹配的链接。

● allow_domains
接收一个域名或一个域名列表，提取到指定域的链接。

● deny_domains
接收一个域名或一个域名列表，与allow_domains相反，排除到指定域的链接。

● restrict_xpaths
接收一个XPath表达式或一个XPath表达式列表，提取XPath表达式选中区域下的链接。

● restrict_css
接收一个CSS选择器或一个CSS选择器列表，提取CSS选择器选中区域下的链接。

● tags
接收一个标签（字符串）或一个标签列表，提取指定标签内的
链接，默认为['a', 'area']。
● attrs
接收一个属性（字符串）或一个属性列表，提取指定属性内的链接，默认为['href']。

● process_value
接收一个形如func(value)的回调函数。如果传递了该参数，LinkExtractor将调用该回调函数对提取的每一个链接（如a的href）进行处理，回调函数正常情况下应返回一个字符串（处理结果），想要抛弃所处理的链接时，返回None。