点击领IP福利
代理IP是爬虫工程师在工作中不可或缺的工具,但是很多朋友没使用过API的代理IP产品,今天我给大家详细的介绍一下如何使用、设置并接入API到自己的爬虫程序中,此文章以协采云代理IP为例。
1.首先去网站找工作人员注册账号
代理ip
2.登录后台选择API
协采云后台
Key:可以修改API的KEY
提取数量:最多1000个
地区筛选:可以单独筛选一个城市的资源
随机:打开后随机返回IP
当日去重:打开后每个代理IP当日只返回1次
返回格式:可选择json或text
节点时效剩余:筛选时效内的IP
显示地理位置与失效时间:打开后返回代理IP详细信息 IP 端口 地理位置 IP时效(时间戳)
显示服务器节点ID:显示服务器ID(适用于独享)
设定好API后复制API并访问,取得IP
3.打开账密验证demo,以python3为例
import requests
import time
url=‘https://www.zhihu .com’ #爬取的网站这里不要写API
proxyaddr = “182.207.100.9” #API提取的代理IP地址
proxyport = 58109 #API提取的代理IP端口
proxyusernm = “协采云账号” #协采云账号
proxypasswd = “协采云密码” #协采云密码
#name = input();
proxyurl=“http://”+proxyusernm+“:”+proxypasswd+“@”+proxyaddr+“:”+“%d”%proxyport
t1 = time.time()
r = requests.get(url,proxies={‘http’:proxyurl,‘https’:proxyurl},headers={
“Accept”:“text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8”,
“Accept-Encoding”:“gzip, deflate”,
“Accept-Language”:“zh-CN,zh;q=0.9”,
“Cache-Control”:“max-age=0”,
“User-Agent”:“Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36”})
r.encoding=‘utf-8’
t2 = time.time()
print(r.text)
print(“时间差:” , (t2 - t1));
Demo写好后运行
代理ip
代理IP连接成功了,速度很快,这个代理IP账密验证方法适合大并发的分布式爬虫,不限制设备数量,没使用的朋友可以试一试。