python 多进程 + 队列 检查代理ip有效性

本文介绍了使用Python的多进程和队列技术提高检查代理IP有效性的效率。通过创建进程池和使用队列进行任务分配,实现了更高效的代理IP验证脚本。建议对多进程不熟悉的读者参考相关教程进行学习。
摘要由CSDN通过智能技术生成

之前写过获取代理IP和检查代理IP有效性的 脚本 。其中检查代理IP的效率太低,不能达到工作的要求,所以这次用多进程重写了一下。不太了解多进程的,请先参考liaoxuefeng的文章。

一、准备:

# 加载模块
import multiprocessing as mp
import time
import requests

ips_ok_file = r'd:/tmp/xici_ips.txt' # 代理IP存储文件。请参考之前文章
ck_ips = r'd:/tmp/xici_ips_ck.txt' # 检查后,并保存的文件
target_url = r'http://ip.chinaz.com/getip.aspx' # 目标地址
User_Agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
headers = {}
headers['User-Agent'] = User_Agent

二、几个操作函数:

def check_ip(proxy_ip,q)
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值