scrapy shell 爬取一些网站不响应
最新推荐文章于 2024-08-22 16:33:52 发布
在使用Scrapy Shell爬取京东商品页面时遇到重定向问题导致无响应。通过分析,发现请求过程中存在重定向现象。为解决此问题,可以在Scrapy的Request中设置'dont_redirect'参数为True,阻止重定向。在Scrapy Shell中,可以导入Request并创建带有'meta'参数的Request对象,然后调用fetch()方法执行请求。
摘要由CSDN通过智能技术生成