scrapy中使用动态转发IP设置

scrapy中使用动态转发IP设置

在python3中接入随机动态ip只需要在middleware中添加如下代码：

import base64

代理服务器

代理隧道验证信息

proxyUser="H01234567890123D" #用户名

proxyPass = "0123456789012345" #密匙

proxyAuth = "Basic" + base64.urlsafe_b64encode(bytes((proxyUser + ":" + proxyPass), "ascii")).decode("utf8")

class ProxyMiddleware(object):

def  process_request(self,request,spider):

  request.meta["proxy"] = proxyServer 

 request.headers["Proxy-Authorization"] = proxyAuth

在使用Basic认证的代理iIP时，scrapy不同于python的requests包，这里不能直接把用户名和密码与代理ip放在一起。正确的做法是应该将验证消息加到headers的Proxy-Authorization中。 最后只需将ProxyMiddleware添加进settings的DOWNLOAD_MIDDLEWARES中即可。 注意根据ip请求限制设置DOWNLOAD_DELAY。