在scrapy使用Tor代理Ip的两种方法

第一个:按照https://www.cnblogs.com/kylinlin/archive/2016/03/04/5242266.html 大佬的写法,实现了
1、首先将本地的代理服务器进行设置,,这一步是为了与polipo对接。。
在这里插入图片描述
在这里插入图片描述
2、因为我们在polipo的配置文件中写了 洋葱头代理的地址和端口(9050),我们使用socks请求端口9150发出每次请求。
socksParentProxy = “localhost:9050”

socksProxyType = socks5

diskCacheRoot = “”
http://zhihan.me/network/2017/09/24/socks5-protocol/ 这个是关于sockes5的介绍。。
在这里插入图片描述
3、然后在中间件中写入
在这里插入图片描述
4、在stttings中
在这里插入图片描述
我是在start_requests() 中加了一个检测ip的语句
在这里插入图片描述
在这里插入图片描述
这样是可以运行的。。但是他的IP不会换。。
在这里插入图片描述

第二种:
先把这个关掉。。
在这里插入图片描述
在spider中书写,,
在这里插入图片描述
在这里插入图片描述
这个IP地址会变化的。。更加稳定。。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这种方法,我暂时不会设置使用MySQL;会起冲突,我以为的是本地的localhost和本地ip4的地址配置问题

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_43351935

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值