关于scrapy-splash设置代理

关于scrapy-splash设置代理问题,笔者之前在网上找了很久都没有找到能用的方法,尤其是使用中间件这个方法,不知道是不是笔者setting里权重设置问题,还是spalsh不能识别base64格式的问题,一直都没有成功过。
笔者这里使用的是某人云代理,用的是动态转发(调一次换一个IP),然后设置代理的方法是将代理写在写在SplashRequest的arg里。
setting里存放的proxyMeta 格式如下

代理服务器

proxyHost = “xxxxxxx.com”
proxyPort = “1234”

代理隧道验证信息

proxyUser = “48615618941531864156”
proxyPass = “dferwgtrtrehtg”

proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % {
“host” : proxyHost,
“port” : proxyPort,
“user” : proxyUser,
“pass” : proxyPass,
}

然后spider里如下

from …settings import proxyMeta

yield SplashRequest(url=“http://httpbin.org/get”, callback=self.parse, meta = {‘splash’:{‘args’ : {‘lua_source’: splah_args, ‘proxy’: proxyMeta }}} )

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值