[scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying ＜GET＞(failed 3 times): 500 Internal Ser

报错信息

这里是为了实现scrapy爬虫的翻页功能，错误很低级，但旨在介绍一下解决被编码问题的便捷思路。

2023-01-20 10:46:00 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1674182235677&countryId=&cityId
=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=&pageIndex=%7B%7D&pageSize=10&language=zh-cn&area=cn> (failed 3 times): 500 Internal Server Error

错误分析

pageIndex=%7B%7D，浏览器搜索编码转换，选择url编码/解码。我们可以发现%7B%7D解码后为 {}。

也就是说网页链接传入错误

从报错信息中，我们可以发现状态码为500，属于服务器错误类别，所以可以排除爬虫被服务器捕捉到的可能。

    def parse(self, response,**kwargs):
        for i in range(1,10):
            self.index_add_url = self.index_url.format(i)
            yield scrapy.Request(url=self.index_url,callback=self.page_index_parse)

正确代码

yield里url的链接传错了

    def parse(self, response,**kwargs):
        for i in range(1,10):
            self.index_add_url = self.index_url.format(i)
            yield scrapy.Request(url=self.index_add_url,callback=self.page_index_parse)