python urllib3 使用_Python urllib3和代理

我试图弄清楚如何使用代理和多线程.

此代码有效:

requester = urllib3.PoolManager(maxsize = 10, headers = self.headers)

thread_pool = workerpool.WorkerPool()

thread_pool.map(grab_wrapper, [item['link'] for item in products])

thread_pool.shutdown()

thread_pool.wait()

然后在grab_wrapper中

requested_page = requester.request('GET', url, assert_same_host = False, headers = self.headers)

标题包括:Accept,Accept-Charset,Accept-Encoding,Accept-Language和User-Agent

但这在生产中不起作用,因为它必须通过代理,不需要授权.

我尝试了不同的东西(将代理传递给请求,在标题中等).唯一有效的是:

requester = urllib3.proxy_from_url(self._PROXY_URL, maxsize = 7, headers = self.headers)

thread_pool = workerpool.WorkerPool(size = 10)

thread_pool.map(grab_wrapper, [item['link'] for item in products])

thread_pool.shutdown()

thread_pool.wait()

现在,当我运行程序时,它将发出10个请求(10个线程),然后……停止.没有错误,没有任何警告.这是我可以绕过代理的唯一方法,但似乎不可能一起使用proxy_from_url和WorkerPool.

有关如何将这两者合并为工作代码的任何想法?由于时间限制,我宁愿避免将其重写为杂乱无章等

问候

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值