之前写过获取代理IP和检查代理IP有效性的 脚本 。其中检查代理IP的效率太低,不能达到工作的要求,所以这次用多进程重写了一下。不太了解多进程的,请先参考liaoxuefeng的文章。
一、准备:
# 加载模块
import multiprocessing as mp
import time
import requests
ips_ok_file = r'd:/tmp/xici_ips.txt' # 代理IP存储文件。请参考之前文章
ck_ips = r'd:/tmp/xici_ips_ck.txt' # 检查后,并保存的文件
target_url = r'http://ip.chinaz.com/getip.aspx' # 目标地址
User_Agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
headers = {}
headers['User-Agent'] = User_Agent
二、几个操作函数:
def check_ip(proxy_ip,q)