scrapy 提取多层嵌套标签下的所有文本

怎样才能一次性提取多层嵌套标签的所有文本，详细如下：

假如页面如下：

<p id='test'>hello<b>world!</b></p>
 
 

我要的提取结果是：world!（假设world是很多标签组合的文本）

这里就需要注意text()的使用了：

首先设置sel = Selector(text=doc, type='html')

如果text()前面使用一个反斜杠：sel.xpath("//p[@id='test']/text()").extract()

得到的结果是：[u'hello'],只能提取到其根标签下的文本，不能提取到子标签下的文本

方法一：

如果text()前面使用两个反斜杠：sel.xpath("//p[@id='test']//text()").extract()

这样提取出来的是一个列表，得到的结果是：[u'hello', u'world!']

然后再将列表循环拼接即可得到想要的结果：helloworld!。

根据自己的需要根据下标提取

方法二：

sel.xpath("//p[@id='test']").xpath('string(.)').extract()

结果是：['helloworld!']，是已经拼接好的，需要使用正则表达式来来获取到自己想要的结果

参考：http://www.cnblogs.com/qlshine/p/5926101.html

参考：https://blog.csdn.net/Y_321_123/article/details/81413010