基于Python的IP代理获取

最新推荐文章于 2023-09-01 10:13:32 发布
最新推荐文章于 2023-09-01 10:13:32 发布
阅读量527 收藏
点赞数
文章标签： http https python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012918754/article/details/105415900
版权

开源地址：https://gitee.com/airtech/python_free_ip_agent

基于Python3.7编写

直接import文件调用get_proxy(Proxy_Type,timeout)函数即可。返回的是可用代理list

本程序里获取网上能搜索到的大部分免费代理IP包括HTTPS和HTTP代理。

函数get_proxy(Proxy_Type,timeout)说明：

Proxy_Type：字符串格式，输入'https'或者'http'，返回对应的可用代理IP列表。

timeout：超时选项，用于校验IP的访问超时设置

完整代码如下：

# coding=utf-8
import threading
from lxml import etree
import random
import requests
from fake_useragent import UserAgent
import json


ips_buff=[]
ips=[]
ips_http=[]
ips_http_buff=[]
time_delay=0
Proxy_Class=''
		
def test_ip_s(proxie):
	url=''
	Https_proxie={'http':'http://'+proxie,'https':'https://'+proxie}
	header= {'User-Agent':str(UserAgent().random)}
	if Proxy_Class=='https':
		url='https://www.baidu.com/'
	elif Proxy_Class=='http':
		url='http://ifconfig.me/ip'
	
	try:
		req = requests.get(url,headers=header,proxies = Https_proxie,timeout=time_delay)
		if req.status_code == 200:
			if Proxy_Class=='https':
				ips.append(proxie)
			elif Proxy_Class=='http':
				ips_http.append(proxie)
	except:
		return False


#获取快代理	
def get_kuai(page):
	URL='https://www.kuaidaili.com/ops/proxylist/%s/'%page
	header= {'User-Agent':str(UserAgent().random)}
	try:
		kuai_res = requests.get(URL,headers=header,timeout=5)
		if(kuai_res.status_code	!=	200):
			return False
		html_ele=etree.HTML(kuai_res.content)
		tr_eles=html_ele.xpath('//*[@id="freelist"]/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_str=tr_ele.xpath('./td[1]/text()')[0]
			port=tr_ele.xpath('./td[2]/text()')[0]
			http_str=tr_ele.xpath('./td[4]/text()')[0]
			if http_str =='HTTP, HTTPS':
				ips_buff.append(ip_str+':'+port)
			elif http_str =='HTTPS':
				ips_buff.append(ip_str+':'+port)
			else:
				ips_http_buff.append(ip_str+':'+port)
	except:
		# print("获取代理失败")
		return False

			
#获取西拉代理
def get_xila(page):
	URL='http://www.xiladaili.com/gaoni/%s'%page
	header= {'User-Agent':str(UserAgent().random)}
	try:
		xila_res = requests.get(URL,headers=header,timeout=5)
		if(xila_res.status_code	!=	200):
			return False
		html_ele=etree.HTML(xila_res.content)
		tr_eles=html_ele.xpath('/html/body/div/div[3]/div[2]/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_port_str=tr_ele.xpath('./td[1]/text()')[0]
			http_str=tr_ele.xpath('./td[2]/text()')[0]
			if http_str =='HTTP,HTTPS代理':
				ips_buff.append(ip_port_str)
			elif http_str =='HTTPS代理':
				ips_buff.append(ip_port_str)
			else:
				ips_http_buff.append(ip_port_str)
	except:
		# print("获取代理失败")
		return False
		
def get_xila_https(page):
	URL='http://www.xiladaili.com/https/%s/'%page
	header= {'User-Agent':str(UserAgent().random)}
	try:
		xila_res = requests.get(URL,headers=header,timeout=5)
		if(xila_res.status_code	!=	200):
			return False
		html_ele=etree.HTML(xila_res.content)
		tr_eles=html_ele.xpath('/html/body/div/div[3]/div[2]/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_port_str=tr_ele.xpath('./td[1]/text()')[0]
			ips_buff.append(ip_port_str)
			
	except:
		# print("获取代理失败")
		return False

#获取西刺代理
def get_xici(page):
	header= {'User-Agent':str(UserAgent().random)}
	url = 'https://www.xicidaili.com/nn/%s'%page
	try:
		response = requests.get(url, headers=header,timeout=5)
		if(response.status_code != 200):
			return False
		html_ele = etree.HTML(response.content)
		tr_eles = html_ele.xpath('//table[@id="ip_list"]//tr')
		tr_eles.pop(0)
		for tr_ele in tr_eles:
			ip_str = tr_ele.xpath('./td[2]/text()')[0]
			port = tr_ele.xpath('./td[3]/text()')[0]
			http_str= tr_ele.xpath('./td[6]/text()')[0]
			if http_str=='HTTPS':
				ips_buff.append( ip_str + ':' + port)
			else:
				ips_http_buff.append(ip_str + ':' + port)
	except:
		# print("获取代理失败")
		return False
		
#获取IP3366代理		
def get_IP3366(page):
	URL='http://www.ip3366.net/?stype=1&page=%s'%page
	header= {'User-Agent':str(UserAgent().random)}
	try:
		IP3366_res = requests.get(URL,headers=header,timeout=5)
		if(IP3366_res.status_code	!=	200):
			return False
		html_ele=etree.HTML(IP3366_res.content)
		tr_eles=html_ele.xpath('//*[@id="list"]/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_str=tr_ele.xpath('./td[1]/text()')[0]
			port=tr_ele.xpath('./td[2]/text()')[0]
			http_str=tr_ele.xpath('./td[4]/text()')[0]
			if http_str =='HTTPS':
				ips_buff.append(ip_str + ':' + port)
			else:
				ips_http_buff.append(ip_str + ':' + port)
	except:
		return False

#获取IP3366代理		
def get_7yip(page):
	URL='https://www.7yip.cn/free/?action=china&page=%s'%page
	header= {'User-Agent':str(UserAgent().random)}
	try:
		IP7y_res = requests.get(URL,headers=header,timeout=5)
		if(IP7y_res.status_code	!=	200):
			return False
		html_ele=etree.HTML(IP7y_res.content)
		tr_eles=html_ele.xpath('//*[@id="content"]/section/div[2]/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_str=tr_ele.xpath('./td[1]/text()')[0]
			port=tr_ele.xpath('./td[2]/text()')[0]
			http_str=tr_ele.xpath('./td[4]/text()')[0]
			if http_str =='HTTPS':
				ips_buff.append(ip_str+':'+port)
			else:
				ips_http_buff.append(ip_str + ':' + port)
	except:
		return False

		
def get_freeIP(page):
	header= {'User-Agent':str(UserAgent().random)}
	url='https://www.freeip.top/?page=%s&protocol=https'%page
	
	try:
		response = requests.get(url, headers=header,timeout=5)
		if(response.status_code != 200):
			return False
		html_ele = etree.HTML(response.content)
		tr_eles = html_ele.xpath('/html/body/div[1]/div[2]/div[1]/div[1]/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_str = tr_ele.xpath('./td[1]/text()')[0]
			port = tr_ele.xpath('./td[2]/text()')[0]
			ips_buff.append( ip_str + ':' + port)
	except:
		# print("获取代理失败")
		return False
		
		
def get_nimaIP(page):
	header= {'User-Agent':str(UserAgent().random)}
	url='http://www.nimadaili.com/gaoni/%s/'%page
	
	try:
		response = requests.get(url, headers=header,timeout=5)
		if(response.status_code != 200):
			return False
		html_ele = etree.HTML(response.content)
		tr_eles = html_ele.xpath('/html/body/div/div[1]/div/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_str_port = tr_ele.xpath('./td[1]/text()')[0]
			http_str = tr_ele.xpath('./td[2]/text()')[0]
			if http_str=='HTTP,HTTPS代理':
				ips_buff.append(ip_str_port)
			elif http_str=='HTTPS代理':
				ips_buff.append(ip_str_port)
			else:
				ips_http_buff.append(ip_str_port)
	except:
		# print("获取代理失败")
		return False
		
def get_nimahttps(page):
	header= {'User-Agent':str(UserAgent().random)}
	url='http://www.nimadaili.com/https/%s/'%page
	
	try:
		response = requests.get(url, headers=header,timeout=5)
		if(response.status_code != 200):
			return False
		html_ele = etree.HTML(response.content)
		tr_eles = html_ele.xpath('/html/body/div/div[1]/div/table/tbody/tr')
		for tr_ele in tr_eles:
			ip_str_port = tr_ele.xpath('./td[1]/text()')[0]
			ips_buff.append(ip_str_port)
	except:
		# print("获取代理失败")
		return False

def getProxy(page):
	if page == 1:
		proxy_url='https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list'
		header= {'User-Agent':str(UserAgent().random)}
		try:
			response = requests.get(proxy_url,headers=header,timeout=5)
			proxies_list = response.text.split('\n')
			for proxy_str in proxies_list:
				proxy_json = json.loads(proxy_str)
				host = proxy_json['host']
				port = proxy_json['port']
				type = proxy_json['type']
				if type =='https':
					ips_buff.append(host	+	':'	+	port)
				else:
					ips_http_buff.append(host	+	':'	+	port)
		except:
			return False
				
			
			
def verify1(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程1校验代理进度%.1f%%'%((n+1)*100/num))
		
def verify2(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程2校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))
		
def verify3(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程3校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))

def verify4(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程4校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))

def verify5(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程5校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))
		
def verify6(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程6校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))
		
def verify7(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程7校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))
		
def verify8(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程8校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))

def verify9(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程9校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))

def verify10(statr,num):
	for n in range(statr,num):
		if Proxy_Class=='https':
			test_ip_s(ips_buff[n])
		elif Proxy_Class=='http':
			test_ip_s(ips_http_buff[n])
		print('线程10校验代理进度%.1f%%'%((n+1-statr)*100/(num-statr)))




def get_proxy(Proxy_Type,timeout):
	global ips_buff
	global ips
	global time_delay
	global ips_http
	global ips_http_buff
	global Proxy_Class
	
	Proxy_Class=Proxy_Type
	time_delay=timeout
	verify_threads=[]
	n=0
	ips.clear()
	ips_buff.clear()
	ips_http.clear()
	ips_http_buff.clear()

	print('获取免费可用代理')
	for n in range(1,11):
		get_kuai(n)
		get_nimahttps(n)
		get_xila(n)
		get_xici(n)
		get_freeIP(n)
		get_7yip(n)
		get_IP3366(n)
		get_nimaIP(n)
		get_xila_https(n)
		getProxy(n)
		print('获取代理进度%d%%'%(n*10))
	
	if Proxy_Class=='https':
		ips_buff=list(set(ips_buff))
		print('HTTPS代理总数：%d'%len(ips_buff))
	elif Proxy_Class=='http':
		ips_http_buff=list(set(ips_http_buff))
		print('HTTP代理总数：%d'%len(ips_http_buff))
	
	print('')
	print('多线程校验代理......')
	print('')
	start1=0
	start2=0
	if Proxy_Class=='https':
		start1=int(len(ips_buff)/10)
		start2=len(ips_buff)
	elif Proxy_Class=='http':
		start1=int(len(ips_http_buff)/10)
		start2=len(ips_http_buff)

	if len(ips_buff)!=0 or len(ips_http_buff)!=0:
		t1 = threading.Thread(target=verify1,args=(0,start1))
		verify_threads.append(t1)
		t2 = threading.Thread(target=verify2,args=((start1+1),start1*2))
		verify_threads.append(t2)
		t3 = threading.Thread(target=verify3,args=((start1*2+1),start1*3))
		verify_threads.append(t3)
		t4 = threading.Thread(target=verify4,args=((start1*3+1),start1*4))
		verify_threads.append(t4)
		t5 = threading.Thread(target=verify5,args=((start1*4+1),start1*5))
		verify_threads.append(t5)
		t6 = threading.Thread(target=verify6,args=((start1*5+1),start1*6))
		verify_threads.append(t6)
		t7 = threading.Thread(target=verify7,args=((start1*6+1),start1*7))
		verify_threads.append(t7)
		t8 = threading.Thread(target=verify8,args=((start1*7+1),start1*8))
		verify_threads.append(t8)
		t9 = threading.Thread(target=verify9,args=((start1*8+1),start1*9))
		verify_threads.append(t9)
		t10 = threading.Thread(target=verify10,args=((start1*9+1),start2))
		verify_threads.append(t10)

		
		for t in verify_threads:	
			t.start()
		for t in verify_threads:
			t.join()

	print('校验代理完成')
	if len(ips)!=0 or len(ips_http_buff)!=0:
		if Proxy_Class=='https':
			return ips
		elif Proxy_Class=='http':
			return ips_http
	else:
		print('无可用代理，请稍后再试')
		return False

	
# def main():
	# get_proxy(0.2)

# if __name__=='__main__':
	# main()

 

airtech
关注
【python爬虫】使用代理IP进行网站爬取
01-15 1万+
我使用代理IP是为了刷票，公司参加了比赛，投票规则是每IP只能投8票，并没有每天刷新还是永久限制，无奈之下使用代理IP, 代理ip网址 http://www.goubanjia.com/ http://www.ip181.com/ https://www.kuaidaili.com/ python 环境 安装requests库 安装bs4库 proxies设置代理服务器地址
python获取代理(终极版本)
热门推荐
HelloHaibo的博客
08-26 2万+
友情链接：python获取代理IP 首先感谢各个提供免费代理IP的网站，虽然IP质量不能保证，但是科技改变生活，让我们开始用程序来“淘金”吧。 之前做过一次获取代理IP（网址可以参考顶部友情链接）由于刚开始玩这些，有些缺点没发现，运行几次后发现了问题，在此花了一下午加熬夜到凌晨3点，把程序修改到第三版，效果目前来说还算满意。 1、第一版是从代理网站过去一次IP，经检查后，重复使用，直到一个I
python get with proxy
12-13 105
python get with proxy #!/usr/bin/env python#encoding=utf-8import urllib2url="http://www.qingfanqie.com/Book/BookClass.aspx?classId=79...
python中代理IP的获取
快乐的孙悟空的博客
12-12 7304
在学习爬虫时，我们经常遇到被限制ip的情况如何获取，下面我们介绍如何获取免费ip的方法： 用爬虫爬取其相关数据： 我们采集的ip网址为： https://www.xicidaili.com/ 如图： 下面分析其代码： from bs4 import BeautifulSoup import requests import random 导入上述模块即可； 1.解析其网页： def get_i...
PythonCrawler urllib 多线程获取proxy池爬取数据
AdamShyly的博客
05-02 341
此次实验使用多线程获取proxy池来增加爬虫爬取下载数据的速度，顺便测试一下urllib handler代理 注意由于线程爬取数据过快可能会导致ip被封，要适当增加time.sleep否则会出现503错误，也可以改变获取proxy_ip的策略，我这里是采取random随机获取proxy列表下标，也可以试试轮询策略，但注意要加锁 from urllib import request as ure import random import threading import time import ssl
python实现自己ip代理池
DXDSuper博客
06-18 1787
https://raw.githubusercontent.com/fate0/proxylist/master/proxy.list 里面拥有众多开源的代理ip import json import telnetlib import requests proxy_url = "https://raw.githubusercontent.com/fate0/proxylist/master/pro...
python如何基于redis实现ip代理池
09-08
在Python编程中，构建一个基于Redis的IP代理池可以有效地管理和使用HTTP代理，尤其是在大量网络请求的场景下，代理池可以防止因频繁请求而被目标网站封禁。本篇文章将详细讲解如何使用Python和Redis来实现这个功能。...
基于python爬虫+flaskweb框架的IP动态代理池
最新发布
09-15
使用API获取代理 访问http://127.0.0.1:5555/进入主页，如果显示'Welcome'，证明成功启动。 访问http://127.0.0.1:5555/random可以获取一个可用代理。 访问http://127.0.0.1:5555/count可以获取代理池中可用代理的...
python抓取免费代理IP
06-08
在IT行业中，网络爬虫和自动化任务经常需要借助代理IP来规避访问限制，提高数据...以上就是基于给定文件信息所涉及的Python抓取和管理代理IP的知识点，这个项目对于需要大量网络请求的开发者来说，具有很高的实用价值。
基于Python代理IP定向采集爬虫的方案设计与实现.zip
10-16
综上所述，设计和实现基于Python的代理IP定向采集爬虫涉及多个环节，包括代理IP的获取、管理、使用，以及定向采集和异常处理策略。通过合理地组合和优化这些组件，我们可以构建出高效、稳定且不易被检测到的爬虫系统...
Python爬虫 免费爬取代理并测试可用性
weixin_55109596的博客
03-30 1324
话不多说直接贴代码 import requests,re,telnetlib,chardet,random class GetProxy: def __init__(self): self.header={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36 Ed...
python中requests如何使用代理
m0_47884154的博客
07-11 6412
我们将我们的项目部署到公司的服务器上，这种情况，公司的服务器一般情况下是不允许直接访问外网的，这个时候我们就需要使用代理服务器，让代理服务器去访问外网 proxy='10.100.94.60:3228' proxies={ 'http':'http://'+proxy, 'https':'http://'+proxy } res=requests.get(url=url,params=data,proxies=proxies) 完整的代码 #coding=utf-8 impo...
python http代理支持 https
weixin_30555125的博客
04-29 226
首先需要2个软件来抓包。 fiddler : http 代理软件可以分析，抓包，重放。 wireshark : 全能抓包分析软件。 RFC 提供了非常好的设计描述。 https://tools.ietf.org/html/rfc7230 https://tools.ietf.org/html/rfc7231 安装好Fiddler2 Tools ->Fiddler Opt...
python爬虫关于ip代理池的获取和随机生成
Saki_Python的博客
09-01 1852
前言在进行爬虫开发时，代理IP池是一个非常重要的概念。代理IP池是指一个包含多个可用代理IP的集合，这些代理IP可以用来绕过网站的防爬虫策略，从而提高爬取数据的成功率。在本文中，我们将介绍如何获取代理IP池，并且随机生成可用的代理IP。除此之外，我们还将以爬取微博热搜为例，介绍代理IP池的应用。一、获取代理IP池在获取代理IP池之前，我们需要先了解一些代理IP提供商的信息。代理IP提供商一般会提供API接口或者代理IP列表来供我们使用。
教你一步步创建属于自己的Python爬虫代理IP池（含代码示例）
xiangxue666的博客
06-29 2302
教你一步步创建属于自己的Python爬虫代理IP池（含代码示例）
Python：使用代理代理爬虫
微信公众号：码奋
07-22 260
urllib模块使用代理 urllib / urllib2使用代理比较ProxyHandler麻烦，需要先构建一个的类，随后将该类用于构建网页打开的opener的类，再在请求中安装该开启者。 代理格式是"http://112.25.41.136:80"，如果要账号密码是"http://user:password@112.25.41.136:80"。 <span style="colo...
python 实现 代理模式
hbu_pig的专栏
06-21 5190
本文的目录地址
Python requests设置代理的方法
weixin_43226231的博客
03-03 9969
这篇文章主要介绍了Python requests设置代理的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值， 指导文档： http://docs.python-requests.org/en/master/user/advanced/ 的Proxies http://docs.python-requests.org/en/latest/user/advan...
python爬虫—proxy的使用
Python_allthing的博客
02-11 1665
python爬虫—proxy的使用 使用代理ip,使用proxy来设置代理服务器，一段时间换一个Ip,HTTPHandler #使用代理ip,使用proxy来设置代理服务器，一段时间换一个Ip from urllib.request import Request from urllib.request import build_opener from fake_useragent import UserAgent from urllib.request import HTTPHandler from ur
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值