- 博客(1)
- 资源 (1)
- 收藏
- 关注
原创 【Scrapy】确认xpath没问题但是爬取不到数据
方法:(以Edge浏览器示范)在浏览器中点开设置,搜索“站点权限”,找到“JavaScript",然后点进去,将”允许“的开关关掉。禁用JavaScript之后,拿之前能爬取成功的当当网检验,可以看到禁用之后,还是可以看到图书信息的。**原因:**如果目标网站使用JavaScript来渲染页面内容,Scrapy默认情况下可能无法获取到动态生成的内容。“print(”===============")"能执行,说明没有反爬,但是却没有获取到想要的div。如题,爬取爱彼迎首页时,返回的数据为空,即返回[]
2023-11-22 11:16:16 996 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人