代理IP怎么接入爬虫程序

点击领IP福利
代理IP是爬虫工程师在工作中不可或缺的工具，但是很多朋友没使用过API的代理IP产品，今天我给大家详细的介绍一下如何使用、设置并接入API到自己的爬虫程序中，此文章以协采云代理IP为例。

1.首先去网站找工作人员注册账号

代理ip
2.登录后台选择API

协采云后台
Key：可以修改API的KEY

提取数量：最多1000个

地区筛选：可以单独筛选一个城市的资源

随机：打开后随机返回IP

当日去重：打开后每个代理IP当日只返回1次

返回格式：可选择json或text

节点时效剩余：筛选时效内的IP

显示地理位置与失效时间：打开后返回代理IP详细信息 IP 端口 地理位置 IP时效（时间戳）

显示服务器节点ID：显示服务器ID（适用于独享）

设定好API后复制API并访问，取得IP

3.打开账密验证demo，以python3为例

import requests

import time

url=‘https://www.zhihu .com’ #爬取的网站这里不要写API

proxyaddr = “182.207.100.9” #API提取的代理IP地址

proxyport = 58109 #API提取的代理IP端口

proxyusernm = “协采云账号” #协采云账号

proxypasswd = “协采云密码” #协采云密码

#name = input();

proxyurl=“http://”+proxyusernm+“:”+proxypasswd+“@”+proxyaddr+“:”+“%d”%proxyport

t1 = time.time()

r = requests.get(url,proxies={‘http’:proxyurl,‘https’:proxyurl},headers={

“Accept”:“text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8”,

“Accept-Encoding”:“gzip, deflate”,

“Accept-Language”:“zh-CN,zh;q=0.9”,

“Cache-Control”:“max-age=0”,

“User-Agent”:“Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36”})

r.encoding=‘utf-8’

t2 = time.time()

print(r.text)

print(“时间差:” , (t2 - t1));

Demo写好后运行

代理ip
代理IP连接成功了，速度很快，这个代理IP账密验证方法适合大并发的分布式爬虫，不限制设备数量，没使用的朋友可以试一试。