python爬虫时如何知道是否代理ip伪装成功


有时候我们的爬虫程序添加了代理,但是我们不知道程序是否获取到了 ip,尤其是动态转发模式的,这时候就需要进行检测了,以下是一种代理是否伪装成功的检测方式,这里推介使用亿牛云提供的代码示例。

Python¶

requests

 

 

        #! -*- encoding:utf-8 -*-

 

        import requests

        import random

 

        # 要访问的目标页面

        targetUrl = "http://httpbin.org/ip"

 

        # 要访问的目标HTTPS页面

        # targetUrl = "https://httpbin.org/ip"

 

        # 代理服务器

        proxyHost = "t.16yun.cn"

        proxyPort = "31111"

 

        # 代理隧道验证信息

        proxyUser = "16ZKBRLB"

        proxyPass = " 234076 "

 

        proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

            "host" : proxyHost,

            "port" : proxyPort,

            "user" : proxyUser,

            "pass" : proxyPass,

        }

 

        # 设置 http和https访问都是用HTTP代理

        proxies = {

            "http"  : proxyMeta,

            "https" : proxyMeta,

        }

 

 

        #  设置IP切换头

        tunnel = random.randint(1,10000)

        headers = {"Proxy-Tunnel": str(tunnel)}

 

 

 

        resp = requests.get(targetUrl, proxies=proxies, headers=headers)

 

        print resp.status_code

        print resp.text

要检测代理是否获取到,直接在配置代理后访 http://httpbin.org/ip 网站,获取到 ip后再访问www.ip138.com就知道是否获取到了ip。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31522063/viewspace-2647918/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/31522063/viewspace-2647918/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值