使用爬虫代理需要考虑的因素

在python爬虫中，需要使用代理的场景是时常的事情。而这个时候爬虫代理ip就派上用场了。他的优势是特别多的。不但能防止ip被封，同时能减少很多人工方面的工作。节约更多的营销成本。
在网络时代大部分的工作都要借助互联网交易，尤其是一些代理程序问题，更要用到大量的爬虫编写或是频繁地更换ip地址，这些互联网工作程序所使用到爬虫代理技术的机会有很多。那么，爬虫的代理技术能协助互联网工作哪些方面?
爬虫代理是借助开发商开发的爬虫软件替代我们日程工作中无法处理的频繁更换ip地址问题，比如在网站频繁多次注册账号，在网店开刷各类信誉流量，还有我们在使用到刷机业务的使用都需要借助开发商最新开发的代理爬虫技术方式更新业务。
爬虫代理技术是由开发商提供的新技术，而亿牛云爬虫代理针对于现代互联网业务而研发的新技术，在未来将会更多更好的协助人们开展互联网工作。更多的帮助人们节约时间处理问题 节省成本，这些全是爬虫的代理技术能够帮到大家的优势。
选择HTTP代理需要考虑的因素：
1、高匿：高匿在付费的ip代理里算基本要求
2、海量：尤其是对于爬虫和增量补量的用户，海量的ip池是不可或缺的，由于这两项业务每天都要使用几百万上千万的代理ip，假如供应商的ip池不够，明显无法满足工作需要，甚至是同样的ip多次重复使用导致禁止访问。
3、稳定：ip不稳定带来的问题显而易见了，这个也算是必须要看的。当然稳定还包括了稳定的服务器、售后服务。而亿牛云便是一家这样的ip提供商。百万级ip池，时长套餐灵活，所有ip均为高质量，满足爬虫用户对ip的所有需求。
4、延迟：代理IP连接速度快，我们的工作效率也会提升。比如说，如果我们需要使用代理IP抓取数据，连接快的代理IP能够让我们在相同的时间之内顺利的爬取更多有用的信息。
使用爬虫代理代码demo：
import requests
import random
# 要访问的目标页面
targetUrl = “http://httpbin.org/ip”
# 要访问的目标HTTPS页面
# targetUrl = “https://httpbin.org/ip”
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = “t.16yun.cn”
proxyPort = “31111”
# 代理隧道验证信息
proxyUser = “username”
proxyPass = “password”
proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % {
“host” : proxyHost,
“port” : proxyPort,
“user” : proxyUser,
“pass” : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
“http” : proxyMeta,
“https” : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {“Proxy-Tunnel”: str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text