在使用scrapy框架做爬虫时,有两种方式对标签内容进行提取:css和Xpath。基本的标签内容,属性提取都很容易。但对于多层嵌套的标签,如何提取到最里层的内容呢?
举个栗子:
网页HTML内容是
"<p id='test'>hello<b>world!</b></p>"
如何一下子提取到hello world!呢?
用css的话需要写两次选择:
response.css('#test::text').extract_first()
response.css('#test b::text').extract_first()
这个简单的例子还似乎可以这样做,但是实际项目中可没这么简单,往往是整篇文章都是嵌套的段落,文字,外面是p便签,里面是多层span标签,而且个数还不一致,根本无法一个个写。。。
因此,需要一种一次性提取最里层内容的方法!
用Xpath可以做到
response.xpath("string(//p[@id='test'])").extract()
# 或者
response.xpath("//p[@id='test']").xpath('string(.)').extract()
# 输出:['helloworld!']
至于xpath的用法,可以参考这篇文章的总结:
https://www.cnblogs.com/MUMO/p/5732836.html
参考文章:
http://www.cnblogs.com/qlshine/p/5926101.html
https://www.cnblogs.com/MUMO/p/5732836.html