scrapy中response和浏览器网页xpath不同的解决办法

terminal中快速验证xpath是否正确无误在termianl中输入:

# 网址的引号可加可不加,亲测;

 

scrapy shell "https://www.csdn.net/nav/ai"

response.xpath("//*[@id='feedlist_id']/li[1]/div/div[2]/h2/a/text()").extract()

view(response)

 

f12后通过点击元素并邮件选择css表达式;然后使用Chrome浏览器的xpath helper插件进行验证;

怎么解决response页面和浏览器js处理后页面不一致导致无法正确快速的写出xpath代码:

在shell中输入view(response) 就会把之前的response在浏览器打开,这样就可以完全按照网站返回来判断xpath的写法.