python验证代理IP

最新推荐文章于 2020-09-19 23:26:26 发布

weixin_30614587

最新推荐文章于 2020-09-19 23:26:26 发布

阅读量91

点赞数

文章标签： python

原文链接：http://www.cnblogs.com/fg2312/p/7489454.html

版权

本文介绍了一种利用Python多线程技术批量验证IP代理有效性的方法。通过读取预先收集的IP地址列表，该程序使用线程锁来并发地验证每个IP代理是否能成功连接到指定网站（如百度）。如果请求成功，则认为该IP代理有效。

摘要由CSDN通过智能技术生成

接上一篇保存的IP地址，进行验证

# -*- coding: utf-8 -*-
import requests
from threading import Thread
import threading


get_ip = open('get_ip.txt','r')

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0'}
lock = threading.Lock() #使用线程锁

#利用多线程，在新浪IP接口上，验证IP
def verify_ip():

    url = 'http://www.baidu.com'  # 新浪IP接口
    try:
        # 先要获取锁:
        lock.acquire()
        ip = get_ip.readline().strip()
        #解开锁
        lock.release()

        proxies = {'http': ip}

        r = requests.get(url, headers=headers, proxies=proxies,timeout=5)
       #如果requests成功，表示验证成功，打印出IP
        print ip

    except:
        pass

thread_all = []
for i in range(100): #根据情况决定

    t = Thread(target=verify_ip)
    thread_all.append(t)
    t.start()

for t in thread_all:
    t.join()

get_ip.close()