关于scrapy爬虫获取具体标签内容为空的解决方法

在确认自己xpath或css部分写对的前提下，且在浏览器该网站能匹配到相关内容，为空原因：

有些标签是浏览器规范化额外加上去的，实际的网页源码并没有，例如font,tbody,（目前就遇到这两个，大家可以自行查找还有哪些，不过操作应该差不多。）

解决方法：若代码pub_time = response.xpath('//ul[@class="article-info"]//font/font/text()').extract(),

应去掉font部分，更改为

pub_time = response.xpath('//ul[@class="article-info"]//text()').extract()。
如果拿多了其他内容，再进行处理。

新手爬虫，思路不是很清晰，大家仅供参考。

百度了下发现有类似的解决方法，大家可以看看https://bbs.csdn.net/topics/392341317下面有个回帖。