PHP实现免费代理池

6 篇文章 0 订阅
5 篇文章 0 订阅

PHP实现免费代理池

声明

本项目所有代理IP均采集于网络,请勿用于非法途径,违者后果自负!

背景

最近疯狂爬虫,请求频繁经常触发网站的反爬策略,加代理是比较简单的方法,起初购买网上付费代理,用了段时间觉得便宜的代理质量也不咋样的,于是就自己实现了一个免费代理池。

设计

免费代理池流程图如下:
在这里插入图片描述
备注:

  • 代理质量规则:

    • 普通代理:检测成功次数小于20
    • 稳定代理:检测成功次数大于20,小于50
    • 优质代理:检测成功次数大于50
  • 代理剔除规则:

    • 普通代理:检测失败立即剔除
    • 稳定代理:连续检测失败次数超过5次剔除
    • 优质代理:连续检测失败次数超过10次剔除

选择几个相对稳定的免费代理作为目标站点

源码

GitHub:https://github.com/GallopYD/proxy-pool (欢迎star!)

使用

免费代理池:https://proxy.357.im/
接口:https://proxy.357.im/api/doc


以上为个人开发总结,如有问题欢迎指出!

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值