qq_51527550的博客

原创 【Scrapy】确认xpath没问题但是爬取不到数据

方法：（以Edge浏览器示范）在浏览器中点开设置，搜索“站点权限”，找到“JavaScript"，然后点进去，将”允许“的开关关掉。禁用JavaScript之后，拿之前能爬取成功的当当网检验，可以看到禁用之后，还是可以看到图书信息的。**原因：**如果目标网站使用JavaScript来渲染页面内容，Scrapy默认情况下可能无法获取到动态生成的内容。“print(”===============")"能执行，说明没有反爬，但是却没有获取到想要的div。如题，爬取爱彼迎首页时，返回的数据为空，即返回[]