Scrapy 实战

xpath部分要点

（一）双斜杠 // 和单斜杠 / 的区别：
// 表示的是从根节点搜索所有符合条件的元素。
/  表示寻找当前标签路径的下一层路径标签或者对当前路标签内容进行操作。

例子：
 

        spell_list = response.xpath("//ul[@id='spellList']/li")
        name_text = spell_list.xpath("/text()").extract()
        logging.info(name_text)
        name_p_text = spell_list.xpath("//p/text()").extract()
        logging.info(name_p_text)
        name_double_text = spell_list.xpath("//text()").extract()
        logging.info(name_double_text)

执行结果：
 

[]
['技能1','技能2','技能3']
['\n', '\n', '\n', '\n', '\n', '\n', '\n', '游戏', '\n', '\n', '\n','技能1','技能2','技能3']

（二）包含HTML标签的所有文字内容提取：string() 
   区别于//text()，string() 把整个标签文本内容都合在一起，适用于那些小说文本抓取

例子：

        spell_list = response.xpath("//ul[@id='spellList']/li")
        name_p_text = spell_list.xpath("//p/text()").extract()
        logging.info(name_p_text)
        name_double_text = response.xpath("string(//ul[@id='spellList'])").extract()
        logging.info(name_double_text)

['技能1','技能2','技能3']
['技能1技能2技能3']

（三）空白格去除：normalize-space（xpath）