爬虫遇到403,网上找带设置了代理请求头,不好使,想用代理IP,但是没有找到能用的免费IP,设置down_delay,也不好使
。。。。。
。。。。。
有没有和我一样迷茫绝望的人们,哈哈哈
下面我介绍我的绝招:
在Middleware.py这个文件里找到DownloaderMiddleware,然后在process_request方法里加:time.sleep(random.random()*50)
爬虫遇到403,网上找带设置了代理请求头,不好使,想用代理IP,但是没有找到能用的免费IP,设置down_delay,也不好使
。。。。。
。。。。。
有没有和我一样迷茫绝望的人们,哈哈哈
下面我介绍我的绝招:
在Middleware.py这个文件里找到DownloaderMiddleware,然后在process_request方法里加:time.sleep(random.random()*50)