搭建ip代理池

1 篇文章 0 订阅
1 篇文章 0 订阅

写一篇关于搭建ip代理池的文章(一天搭好)

想着将某地区的旅游景点爬取下来,然后做个分析,没想到啊,在爬虫爬取的时候居然产生了问题,ip被封了,这对于我这种小白来说简直是一脸懵逼,随后想解决这个问题,了解到代理IP的事情,去网上下个软件,代理ip几天就收费好几十,甚至于上百的那种,学生党根本玩不起,所以了解到代理ip池的事情,就兴致冲冲的去整了,做这个事情浪费了我一天的时间 ,现在将其总结归纳一下,免得到时候忘掉:

需要的东西:首先你得装好个pycharm吧,

然后需要装个redis,这个玩意儿就是一个数据库,下载起来也不难,这里要强调一点,不要用3.x版本的redis,问题太多了,笔者建议用5.x版本的,下载地址为https://github.com/tporadowski/redis/releases


这俩都可以。

随后再装一个RDM(Redis Desktop Manager):这个东西正版是收费软件,网上有破解版的,这个是干嘛的呢?将redis数据可视化,这个对于小白来说非常重要

东西安装完了,还需要去github上搞个源码下来,地址为:

https://github.com/Python3WebSpider/ProxyPool.git

给这个源码压缩包解压之后,需要观察一下setting.py文件是否需要设置参数,这个我都不说,因为我都没改

实际操作第一步:

找到你redis安装的文件夹,找到这个redis-server.exe文件,双击打开,如果出现这样的问题:

出现这样子的情况说明某个配置文件没弄好,在这个文件夹下,新建一个txt,然后将其内容写的如下:

后面的地址是这个文件的实际路径,其实也就是你redis的安装路径,然后将这个txt文件的后缀改成bat批处理文件,至此第一步完成,完成但是上面的这个黑框框不要关掉
然后打开redis.cli.exe这个是客户端测试,输入命令ping,得到回复pong说明成功:

现在是第二步:在redis文件安装目录下打开cmd,输入该命令:

redis-server --service-install redis.conf --loglevel verbose

该命令是安装这个本地服务,,然后打开你的电脑-管理-服务

找到名字为redis的服务,把他打开,这里如果打不开redis服务可以试着将属性里面的选项调整一下:


打开redis服务之后,第三步开始运行run.py文件,可能有什么地方报红,不用管他,只要出现这样子的界面即可:

最后一步,打开你的RDM软件,

名字随便写,如果你前面没改代码,就直接可以点确定了

自己摸索一下就ok了,这里面的ip有的快有的慢,但是都是可以用的!


最后一点,我没找打办法将所有的IP搞下来,一个一个复制感觉太麻烦了,,,,

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值