scrapy爬取报HTTP status code is not handled or not allowed的可能解决方法

今天写爬虫时遇到了如题的问题，网上的解决方法都是修改get或post请求。但对我都没有用，因为我用postman测了下，get、post请求都能访问到。

网上找了很久，终于找到解决方法——在settings.py中关闭代理，如下即可

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}