Scrapy之AttributeError: 'str'/"list" object has no attribute 'xpath'问题分析

环境介绍

Scrapy 1.5.1 , Python 3.6.5

问题描述

在调用过程中，会报出以下错误信息：

'str' object has no attribute 'xpath'

在代码中，尝试对于Selector对象调用xpath方法，选取特定的Web元素节点。
代码示例如下：

    def parse_item(self, response):
        item_links = response.xpath('//*[@id="plist"]/ul/li'）.extract() 
        for link in item_links:
            sku_id = link.xpath('./div/@data-sku').extract_first()
            store_id = link.xpath('./div/@venderid').extract_first()
            print("process item: %s, item:%s" % ("process_item....", link))
            print("sku id:%s, store id:%s" % (sku_id, store_id))
     ......

问题分析

extract()/extract_first()方法本身都是用去提取节点的内容的，不是用来提取页面元素的Selector封装，所以无法对于这些提取的节点，使用xpath来做下一步的选取。
所以修改的方法如下：

    def parse_item(self, response):
        item_links = response.xpath('//*[@id="plist"]/ul/li') 
        for link in item_links:
            sku_id = link.xpath('./div/@data-sku').extract_first()
            store_id = link.xpath('./div/@venderid').extract_first()
            print("process item: %s, item:%s" % ("process_item....", link))
            print("sku id:%s, store id:%s" % (sku_id, store_id))
     ......

其他的情况

除此之外，在所选择的的节点为None之时，也是非常容易出现类似xxx object has no attribute ‘xpath’的错误信息。

总结

Scrapy支持非常良好的selet特性，方便基于xpath和selector来进行各类元素和属性的选取。