代理IP怎么样接入爬虫程序？

最新推荐文章于 2024-10-10 19:29:49 发布

爬虫动态代理yoyo

最新推荐文章于 2024-10-10 19:29:49 发布

阅读量671

点赞数

文章标签：爬虫网络

本文链接：https://blog.csdn.net/2301_79614376/article/details/134329442

版权

代理IP是爬虫程序不可缺少的工具，很多代理IP都是使用api接口来接入到爬虫程序中，下面我来给大家详细介绍一下如何使用、设置并接入API到自己的爬虫程序中，此文章以协采云代理IP为例。

1.首先去网站找客服协助注册账号

2.登录后台设置相关参数

3.打开账密验证demo，以python3为例

import requests

import time

url='https://www.baidu .com' #爬取的网站这里不要写API

proxyaddr = "182.207.100.9" #API提取的代理IP地址

proxyport = 58109 #API提取的代理IP端口

proxyusernm = "xiecaiyun.com" #协采云账号

proxypasswd = "" #协采云密码

#name = input();

proxyurl="http://"+proxyusernm+":"+proxypasswd+"@"+proxyaddr+":"+"%d"%proxyport

t1 = time.time()

r = requests.get(url,proxies={'http':proxyurl,'https':proxyurl},headers={

"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",

"Accept-Encoding":"gzip, deflate",

"Accept-Language":"zh-CN,zh;q=0.9",

"Cache-Control":"max-age=0",

"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"})

r.encoding='utf-8'

t2 = time.time()

print(r.text)

print("时间差:" , (t2 - t1));

Demo写好后运行，代理IP连接成功了，速度很快，这个代理IP账密验证方法适合大并发的分布式爬虫，不限制设备数量。

以上就是介绍代理ip接入爬虫程序的流程啦，喜欢的可以点个赞，然后自己也试试这种方法。