scrapy 的xpath获取自动获取下页按钮xpath 的节点，第一次获取时，获取到第二页，但在第三页的节点时，会出现两个url 的地址，一个上页url和下页url，例子：
这就一个节点获取多个url，如果现在使用extract_first(),只能获取上一页和第二的url
有这样的情况就用extract（）【-1】就获取到最后个url不会出现下页会出现两个url的情况
python scrapy xpath获取网页下页按钮的坑
最新推荐文章于 2023-05-22 00:30:07 发布
本文探讨了Scrapy中遇到的XPath节点获取时返回多个URL的问题，特别是当提取最后一个元素时如何避免重复。通过介绍使用extract()函数解决下一页链接冲突的方法，读者将学会如何准确抓取页面链接，确保不遗漏关键信息。
856
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
