🦋 1.1 动态ip优点是什么?
当频繁使用同一个固定IP访问目标网站的时候,很容易因为IP暴露而被目标网站封死,一旦固定IP被封死,也就无法访问目标网站了。
我用的住宅动态ip
| 优势 | 特性 |
| — | — |
| 9000万+ 住宅IP | 超过9000万个真正的动态住宅代理,保证您可以大规模采集数据 |
| 无限请求 | 我们动态住宅IP不限制请求数量,不限并发,不限带宽 |
| 220+国家/地区 | 覆盖全球220+国家城市地区,优质的家庭住宅代理IP资源v |
| 24/7支持 | 经验丰富的客服和技术人员提供全天候业务支持,通过微信、 QQ和电话等方式与您保持联系 |
🐌 1.2 环境准备
-
硬件环境: mac
-
软件环境: python 3.8
-
代理环境: 动态住宅ip代理网站
🐞 1.3 获取代理ip
登录Ipidea.net账号,生成API链接,打开链接并将链接内的IP复制
到此,你拿到了代理ip的api链接,记得复制保存,等下要用。
你可以浏览器你访问这个api链接,会发现你拿到了ip和端口,每一次调用api,也会返回不同的代理ip。
注意:这个ip是代理服务的ip,最终访问浏览器的ip,也不是这个。
🐜 2、使用代理IP
在使用代理IP,其实就几行代码的事情。但对于新手朋友来说,就比较棘手了。西红柿今天和大家讨论2 种简单的验证代理IP的方法。
🐤 2.1 浏览器使用代理ip
不同的浏览器设置方法,这里都有教程。
使用教程:不同浏览器设置代理ip
浏览器设置ip代理步骤
-
步骤一:登录Ipidea.net账号,生成API链接,打开链接并将链接内的IP复制
-
步骤二:在谷歌浏览器菜单列表内 - 设置 - 高级 - 打开您计算机的代理设置
-
步骤三:开启使用代理服务器按钮,并填写复制的IP和端口号后,点击保存
-
步骤四:打开百度/谷歌搜索引擎,搜索:IP,查看当前代理后的IP地址。
注意:仅支持境外网络环境下使用,不提供任何形式的境内使用方式。
🐵 2.2 api链接生成代理ip
划重点:浏览器设置代理ip,终究上不得台面,接下来我要讲的是重点: 代码设置代理ip。
def get_proxie(self, api_url):
# 微信搜:信息技术智库,回复’源码’
user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’
headers = {
‘User-Agent’: user_agent}
res = requests.post(api_url,headers=headers, verify=True)
proxie = “https://%s”%(res.text)
proxies = {‘http’: proxie}
is_valid, proxies = visitor.proxie_check(proxies)
return is_valid, proxies
西红柿解释:这一步的效果,相当于刚才百度拿到代理ip。然后你可以,通过这个代码ip去搞事情。
西红柿获取代理ip,用的是ipidea: 可领取免费流量玩
我玩了3周,免费流量竟然一直用不完。
当然,你如果还有其他方法,欢迎架微notomoto 进Python裙交流。
🍏 2.3 使用代理ip访问网页
class Visitor(object):
def init(self):
“”“Inits Visitor with blah.”“”
self.eggs = 0
@time_decorator
def proxie_visit(self, proxie ,url):
user_agent = Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ’
Referer= ‘https://www.baidu.com/’ # 伪装成从baidu
headers = {
‘Referer’: Referer,
‘User-Agent’: user_agent}
# visit
res = requests.get(url, headers=headers, proxies=proxie)
return res.text
代码解释
-
url为访问的地址
-
proxies=proxie 为使用代理
获取完整代码:微信搜信息技术智库,回复源码
🍊 3、测试代理ip
🥕 3.1 curl测试代理ip可用性
测试代理ip: curl -x ip:端口 ipinfo.io
🍳 3.2 代码测试代理ip可用性
def proxie_check(self, proxies):
user_agent = ‘Mozilla/5.0 (Linux; Android 10; EVR-AL00 Build/HUAWEIEVR-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/74.0.3729.186 Mobile Safari/537.36 baiduboxapp/11.0.5.12 (Baidu; P1 10)’
headers = {‘User-Agent’: user_agent}
res = requests.get(“https://bbs.csdn.net/forums/ITID”, headers=headers, proxies=proxies)
is_valid = 0
if res.status_code == 200 and “msg” not in str(proxies):
is_valid = 1
return is_valid, proxies
🍅 4、粉丝福利
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Python工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Python开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)
361282296f86381401c05e862fe4e9.png)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上前端开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以扫码获取!!!(备注:Python)