xpath语法写的没有问题,但是缺获取不到任何内容,原因是重定向问题。
allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。
使用scrapy模块进行爬虫的时候遇到301很302问题。
例如:房天下二手房每次刷新都是不同的页面内容。
爬虫301,302问题
最新推荐文章于 2024-04-24 16:55:30 发布
xpath语法写的没有问题,但是缺获取不到任何内容,原因是重定向问题。
allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。
使用scrapy模块进行爬虫的时候遇到301很302问题。
例如:房天下二手房每次刷新都是不同的页面内容。