利用requests库抓取代理ip

最新推荐文章于 2024-05-17 11:03:15 发布
最新推荐文章于 2024-05-17 11:03:15 发布
阅读量325 收藏
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38120760/article/details/88128156
版权

 我做了一个导航站（域名是挂路灯的全拼gualudeng.com)，里面精选了各种影视，动漫，黑科技，实用工具，搞笑有趣的站点，动动大家可爱的小手，点进来看看吧,良心站点。

#coding=utf-8
import requests
import random
import re
import time
user_agent_list = [
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
	"Opera/8.0 (Windows NT 5.1; U; en)",
	"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
	"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
	"Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
	"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
	"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
	"Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
	"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
	"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
	"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
	"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
	"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
	"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36"
]

def send_request(url):
	proxy = {"https":""}
	flag=0;
	while(flag==0):
		if(len(user_agent_list)==0):
			print("可用代理ip为空")
			return
		random_ip = random.choice(valid_proxy_ip)
		proxy['https'] = "https://"+random_ip
		headers = {"USER-AGENT":random.choice(user_agent_list),}
		try:
			response = requests.get(url,verify=False,headers=headers,proxies=proxy,timeout=(4,4))
		except requests.exceptions.ProxyError:
			print("代理ip无效"+proxy['https'])
			if random_ip in user_agent_list:
				user_agent_list.remove(random_ip)
		except requests.exceptions.ConnectTimeout:
			print("请求超时"+proxy['https'])
			if random_ip in user_agent_list:
				user_agent_list.remove(random_ip)
		except requests.exceptions.ReadTimeout:
			print("下载超时"+proxy['https'])
			if random_ip in user_agent_list:
				user_agent_list.remove(random_ip)
		else: 
			flag=1
			print("使用代理ip成功下载")
			time.sleep(2)
			
	return response
	
def store_result(response):
	url = re.findall(r"<td[\s\S].*>(\d+\.\d+\.\d+\.\d+)</td>",response)
	port = re.findall(r"<td[\s\S].*>(\d{1,6})</td>",response)
	file = open("all_ip_kuaidaili.txt","a")
	for index,v in enumerate(url):
		file.write(v+":"+port[index]+"\n")
	file.close()



def get_valid_ip():
	
	#response = requests.get("https://www.baidu.com",proxies = proxy,timeout=0.001)
	file = open("all_ip_kuaidaili.txt","r")
	for line in file:
		check_valid_ip(line) 
		
	

def check_valid_ip(ip):
	proxy={"http":""}
	proxy['http'] =ip.strip().replace("\n","")
	print(proxy)
	try:
		response = requests.get("http://www.setsails.cn/",proxies = proxy,timeout=(2,2))
	except requests.exceptions.ProxyError:
		print("代理ip无效")
	except requests.exceptions.ConnectTimeout:
		print("请求超时")
	except requests.exceptions.ReadTimeout:
		print("下载超时")
	else:
		
		if response.status_code==200:
			print("valid_ip:"+ip)
			f = open("valid_ip_kuaidaili.txt","a")
			f.write(ip)
			f.close()


if __name__ == '__main__':
	#获取代理ip
	valid_ip_file = open("valid_ip_xicidaili.txt","r")
	valid_proxy_ip = [line.strip().replace("\n","") for line in valid_ip_file]
	valid_ip_file.close()
	'''
	for i in range(598,1000):
		print("开始爬取第"+str(i)+"个页面")	
		response = send_request("https://www.kuaidaili.com/free/inha/"+str(i)).text
		store_result(response)
	'''
	get_valid_ip()
	
	
#coding=utf-8
import requests
import random
import re
import time
user_agent_list = [
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
	"Opera/8.0 (Windows NT 5.1; U; en)",
	"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
	"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0",
	"Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36",
	"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
	"Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36",
	"Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
	"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
	"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
	"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
	"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
	"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0",
	"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)",
	"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36"
]

def send_request(url):
	proxy = {"https":""}
	flag=0;
	while(flag==0):
		if(len(user_agent_list)==0):
			print("可用代理ip为空")
			return
		random_ip = random.choice(valid_proxy_ip)
		proxy['https'] = "https://"+random_ip
		headers = {"USER-AGENT":random.choice(user_agent_list),}
		try:
			response = requests.get(url,verify=False,headers=headers,proxies=proxy,timeout=(4,4))
		except requests.exceptions.ProxyError:
			print("代理ip无效"+proxy['https'])
			if random_ip in user_agent_list:
				user_agent_list.remove(random_ip)
		except requests.exceptions.ConnectTimeout:
			print("请求超时"+proxy['https'])
			if random_ip in user_agent_list:
				user_agent_list.remove(random_ip)
		except requests.exceptions.ReadTimeout:
			print("下载超时"+proxy['https'])
			if random_ip in user_agent_list:
				user_agent_list.remove(random_ip)
		else: 
			flag=1
			print("使用代理ip成功下载")
			time.sleep(2)
			
	return response
	
def store_result(response):
	url = re.findall(r"<td>(\d+\.\d+\.\d+\.\d+)</td>",response)
	port = re.findall(r"<td>(\d{1,6})</td>",response)
	
	file = open("all_ip_xicidaili.txt","a")
	for index,v in enumerate(url):
		file.write(v+":"+port[index]+"\n")
	file.close()



def get_valid_ip():
	
	#response = requests.get("https://www.baidu.com",proxies = proxy,timeout=0.001)
	file = open("all_ip_xicidaili.txt","r")
	for line in file:
		check_valid_ip(line) 
		
	

def check_valid_ip(ip):
	proxy={"https":""}
	proxy['https'] =ip.strip().replace("\n","")
	print(proxy)
	try:
		response = requests.get("https://www.baidu.cn",proxies = proxy,timeout=(1,1),verify=False)
	except requests.exceptions.ProxyError:
		print("代理ip无效")
	except requests.exceptions.ConnectTimeout:
		print("请求超时")
	except requests.exceptions.ReadTimeout:
		print("下载超时")
	else:
		
		if response.status_code==200:
			print("valid_ip:"+ip)
			f = open("valid_ip_xicidaili.txt","a")
			f.write(ip)
			f.close()


if __name__ == '__main__':
	
	#获取代理ip
	valid_ip_file = open("valid_ip_xicidaili.txt","r")
	valid_proxy_ip = [line.strip().replace("\n","") for line in valid_ip_file]
	valid_ip_file.close()
	'''
	for i in range(554,1000):
		print("开始爬取第"+str(i)+"个页面")	
		response = send_request("https://www.xicidaili.com/wn/"+str(i)).text
		store_result(response)
	'''
	get_valid_ip()

ALWAYS_FANG
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java获取 User-Agent介绍
zzhongcy的专栏
06-08 2357
根据获取访问设备信息。Http 协议请求头中的User-Agent属性会将客户端设备的信息传递给服务器，这些信息包括客户端操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。
java获取user-agent 工具类_「Java并发工具类」Semaphore
weixin_42166626的博客
12-02 350
前言1965年，荷兰计算机科学家Dijkstra提出的信号量机制成为一种高效的进程同步机制。这之后的15年，信号量一直都是并发编程领域的终结者。1980年，管程被提出，成为继信号量之后的在并发编程领域的第二个选择。目前几乎所有的语言都支持信号量机制，Java也不例外。Java中提供了 Semaphore 并发工具类来支持信号量机制。下面我们就来了解Java实现的信号量机制。首先介绍信号量模型，然后...
python的requests爬虫模块使用代理ip方法---集合
最新发布
云霄IT的博客
05-17 375
形式一不行的情况下，试试形式二。带有账号密码的使用方法。
java给爬虫设置User-Agent（绕过最表面的反爬虫机制）
Cynicsss的博客
02-12 3477
今天在爬my电影评分时发现访问被控制，但浏览器依旧能访问，查阅后得知因为java程序与浏览器访问不同，一些采取了简单采反爬虫机制的网站可以拒绝这些小爬虫的访问。my电影也用了不少反爬虫策略，比如说票房、评分人数都转换了编码让你不好直接爬取，但我目前不需要那一部分。在给java程序设置了User-Agent后便能进行爬取（想要爬取的放慢点速度吧。。双方互相都体谅一下）URL realUrl=new ...
python爬虫爬取豆瓣电影信息城市_Python爬虫实现的根据分类爬取豆瓣电影信息功能示例...
weixin_39663258的博客
11-30 439
"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)""Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/6.0)""Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; Trident/...
python抓取免费代理IP
06-08
本项目提供了一套完整的解决方案，利用Python来抓取免费代理IP，并将其存储到MySQL数据库中，同时实现定期检查和排除失效的IP，构建自定义的代理IP池。 1. **Python抓取免费代理IP** `get_ips.py` 文件很可能是...
requests-ip-rotator:一个 Python 库，利用 AWS API Gateway 的大型 IP 池作为代理来生成用于网络抓取和暴力破解的伪无限 IP
08-05
一个 Python 库，利用 AWS API Gateway 的大型 IP 池作为代理来生成用于网络抓取和暴力破解的伪无限 IP。 该库将允许用户绕过站点和服务的基于 IP 的速率限制。 安装 此软件包位于 pypi 上，因此您可以通过以下任一...
Python3 requests模块如何模仿浏览器及代理
09-16
这样，当向指定URL发送请求时，requests库会通过这些代理服务器转发请求。 此外，requests库还提供了其他一些高级特性： 1. **连接保持和连接池**：requests库默认实现了HTTP连接保持，这意味着它可以重用TCP连接...
ip代理的Python脚本
08-23
2. **代理IP验证**：由于免费或共享的代理IP稳定性不佳，需要通过验证其可用性，例如使用`requests`库发送GET请求并检查响应状态码。例如： ```python import requests def is_proxy_valid(proxy): try: ...
Python3爬虫使用requests抓取活动行（www.huodongxing.com/）进行数据分析
01-12
设置代理IP时，可以将代理地址和端口添加到requests.get()的proxies参数中。 对于分城市和分类处理，我们需要在解析HTML时关注相关的标识符。活动行网站可能根据城市和类别对活动进行分类，这些信息通常体现在URL或...
使用Redis实现UA池的方案
09-09
主要介绍了使用Redis实现UA池的方案，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
从网络上获取免费可用的IP代理数据。先用爬虫程序抓取代理数据，再检查代理是否可用，可用的话就存放到数据库中
07-05
该项目有两个模块proxypool和proxypool-web，从网络上抓取数据的核心工作由proxypool模块完成，可以在site这个package下新增针对不同网页的解析类。proxypool-web模块是依赖proxypool模块实现的sample模块。
UA池和代理池（IP)
weixin_38166686的博客
01-02 326
UA池(每一次请求采用池中的随机UA) a)在中间件类中进行导包 from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware b)封装一个基于UserAgentMiddleware的类，且重写该类 　　例： 　　middleware.py from scrapy.c...
Python-封装自己的UA池
新阿巴阿巴
01-16 1116
1、先通过库获取到所有的UA 2、自己将获取到的UA保存下来 3、封装成自己的工具库，供以后使用 一、使用fake_useragent库将所有的UA下载下来 关于fake_useragent库的使用，请移步：Python-fake_useragent库的简单使用 1. 安装fake_useragent库 ''' 1. 安装 pip install fake_useragent 2. 导包 from fake_useragent import UserAgent ''' 2. 下载数据 impo.
创建一个UA池（User-Agent）
eighttoes的博客
10-10 7955
import random def get_ua(): user_agents = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60', 'Opera/8.0 (Windows N...
14.UA池和代理池
weixin_34238642的博客
11-24 199
今日概要 scrapy下载中间件 UA池 代理池 今日详情 一.下载中间件 先祭出框架图： 下载中间件（Downloader Middlewares） 位于scrapy引擎和下载器之间的一层组件。 - 作用： （1）引擎将请求传递给下载器过程中， 下载中间件可以对请求进行一系列处理。比如设置请求的 User-Agent，设置代理等 （2）在下载器完成将Respons...
requests模块&代理IP池搭建&视频爬取
weixin_68531269的博客
11-24 4332
爬虫代理ip池，网络爬虫
爬虫---构造UA池
qq997554300的博客
08-12 377
利用正则表达式，requests请求，ip代理，xpath工具、lxml库、beautifulsoup库、selenium、webdriver，抓取以下目标网站的共计250条信息 目标网址如下：https://book.douban.com/top250 2、并按照书名、作者、出版社、出版时间、售价、评分、评价人数以及评论（评论只取第一条） 共计9个字段进行解析， 3 、将解析文件存储为csv文件类型，文件名为 Tdata.csv
06-10
2.编写Python代码，利用requests库发送请求，获取目标网站的HTML页面。 3.利用XPath或BeautifulSoup等工具解析HTML页面，从中提取需要的数据。 4.使用正则表达式对数据进行清洗和处理，使其符合要求。 5.使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值