Python协程gevent测试IP是否可用

import requests
from queue import Queue
import random
import gevent
from gevent import monkey
monkey.patch_all()


def getheaders():
	user_agent_list = [
		"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
		"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
		"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
		"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
		"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1"
	]
	UserAgent = random.choice(user_agent_list)
	headers = {"User-Agent": UserAgent}
	return headers


def is_enable(ip_port, q):
	proxies = {
		"http": "http://" + ip_port,
		"https": "http://" + ip_port,
	}
	try:
		res = requests.get('https://www.baidu.com/', headers=getheaders(),
						   proxies=proxies, timeout=2)
		q.put(ip_port+' 能用')
		# print(ip_port, '能用')
	except Exception as e:
		q.put(ip_port+' 不能用')
		# print(ip_port, '不能用')


def main():
	ips_ports_list = []
	# ips.txt: 50个从西刺爬取的IP
	with open('ips.txt') as f:
		for line in f:
			ips_ports_list.append(line.strip())
	q = Queue()
	job_list = [gevent.spawn(is_enable, ip_port, q) for ip_port in ips_ports_list]
	# gevent.joinall(job_list)
	completed_num = 0
	while True:
		output = q.get()
		print(output)
		completed_num += 1
		if completed_num >= len(ips_ports_list):
			break


if __name__ == '__main__':
	main()

测试了50个IP,运行时间2秒多,多线程测试结果点击这里查看,多进程测试点击这里查看。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值