关于获取IP代理及使用

基于不同的需求国内/国外需要选择不同的代理池
国外

  1. Scraper API
    https://www.scraperapi.com/
    一种特殊的代理池,能够很方便的进行进行IP代理的简单爬虫
    貌似不支持一些高级功能,如阻止重定向
    代理IP数量级别:百万
    支持功能: 自定义headers, 固定&轮询代理,无头浏览器,自定义地理位
    置。
    在这里插入图片描述
    2.Smart Proxy
    https://smartproxy.com/
    代理IP数量级别:千万
    正常HTTP代理:
    在这里插入图片描述
    3.Brightdata(旧名Luminati)
    https://brightdata.grsm.io/davincivon1954
    高级HTTP代理 覆盖全球250个国家,可按国家、城市、ASN、运营商定位
    唯一一家合法合规且已获得多项专利的住宅IP代理商
    代理IP数量级别:7200多万真人IP,100%真实的民用住宅IP
    月最低消费$300起,可有7天免费试用,验证账户可有5美金赠送。

4.Scraping Hub
类似于SmartPoxy
在这里插入图片描述
国内
参考文章(虽然有点旧,但好歹能说明一些问题)
https://zhuanlan.zhihu.com/p/33576641

总结
1.测试。国外的测不起啊;最低的网站最低套餐月付25刀起,很多网站最低五六百刀起。如果拿来只是测试,那是真的亏。
2.爬虫这种东西要结合实际项目来,爬取国内网站还是国外网站,预计流量多大,爬取次数多少等选择
3.如果我们有能力,自己搭建一个常规的HTTP代理池,作为常规服务自然很好。但如果非要租,最好还是有需求的时候选用,租一个作为常规服务太浪费了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值