测试代理ip

最新推荐文章于 2024-08-19 17:52:30 发布
最新推荐文章于 2024-08-19 17:52:30 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： # python爬虫 python 文章标签： 代理ip测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012939880/article/details/89929110
版权

代理ip的测试原理很简单，就是使用代理ip去访问测试网站，如果访问成功，那就可以判断该ip是有效的ip。
下面是我前后折腾了一周左右的代码：

# check_proxy.py
import random
import time
import sys
import requests

import threading  # 线程
import time

import queue
import time

try:
    import src.static_info
except:
    import static_info
exitFlag = 0

num_key = 'num_fad23fafd'

# checkIp
class checkIp:
    def __init__(self, thread_num=1, file_names=[], ip_max=100):
        self.ip_max = ip_max
        self.threads = []
        self.file_lock = {}
        self.ip_queue = queue.Queue(ip_max)
        self.wait_num = 0
        self.queue_lock = threading.Lock()
        self.exit_flag = False
        self.thread_num = thread_num
        self.static_info = static_info.static_info()
        for n in file_names:
            self.add_file_lock(n)

    def add_file_lock(self, file_name):
        if file_name not in self.file_lock:
            self.file_lock[file_name] = threading.Lock()

    def start_check(self):
        for i in range(self.thread_num):
            t = threading.Thread(target=self.process_data,
                                 args=('thead_'+str(i),))
            t.start()
            self.threads.append(t)

    def write_t(self, info, is_valid):
        string = ''
        string = str(info['ip']) + ', '+str(info['port']) + \
            ', '+str(info['type']) + ', '
        for key in info:
            if key in ['file', 'ip', 'port', 'type']:
                continue
            string += str(info[key]) + ', '
        if info['file'][0] not in self.file_lock:
            self.add_file_lock(info['file'][0])
        self.file_lock[info['file'][0]].acquire()
        # print('file name: ', info['file'][0])
        if is_valid:
            info['file'][1].write(string[:-2] + '\n')
            info['file'][1].flush()
        else:
            info['file'][2].write(string[:-2] + '\n')
            info['file'][2].flush()

        self.file_lock[info['file'][0]].release()

    def gettimediff(self, start, end):
        seconds = (end - start).seconds
        m, s = divmod(seconds, 60)
        h, m = divmod(m, 60)
        diff = ("%02d:%02d:%02d" % (h, m, s))
        return diff

    def process_data(self, thread_name):
        while not self.exit_flag:
            # print("process_data[%s]" % thread_name)
            self.queue_lock.acquire()
            if not self.ip_queue.empty():
                ip_info = self.ip_queue.get()
                self.wait_num += 1
                self.queue_lock.release()
                self.checkip(ip_info, thread_name)
                time.sleep(0.2)
            else:
                self.queue_lock.release()
                time.sleep(1)
        print('['+thread_name+']: exit.')

    def checkip(self, ip_info, thread_name):
        headers = self.static_info.get_random_headers()  # 定制请求头
        ip = ip_info['ip'] + ":" + ip_info['port']

        if 'type' not in ip_info:
            ip_info['type'] = 'http'
        targeturl = self.static_info.get_random_url(ip_info['type'])
        if targeturl == None:
            print('[checkip] unknow type!')
            return False

        proxies = {"http": "http://"+ip,
                   "https": "https://"+ip}  # 代理ip
        try:
            response = requests.get(
                url=targeturl[0], proxies=proxies, headers=headers, timeout=3).status_code
            if response == 200:
                is_avail = True
                targeturl[1] += 1
            else:
                is_avail = False
        except:
            is_avail = False

        if not is_avail and ip_info[num_key] < 5:
            ip_info[num_key] += 1
            self.add_check_ip(ip_info)
        else:
            self.write_t(ip_info, is_avail)

        if is_avail == True:
            print('['+thread_name+'-'+ip_info['file'][0]+'] get:',
                  str(ip_info['ip'])+':'+str(ip_info['port']))
        else:
            print('['+thread_name+'-'+ip_info['file'][0]+'] abandon['+str(ip_info[num_key])+']: ',
                  str(ip_info['ip'])+':'+str(ip_info['port']))

        self.queue_lock.acquire()
        self.wait_num -= 1
        self.queue_lock.release()

    def add_check_ip(self, info_ip):
        # 添加ip
        self.queue_lock.acquire()
        while self.ip_queue.qsize() == self.ip_queue.maxsize:
            self.queue_lock.release()
            time.sleep(1)
            self.queue_lock.acquire()
        if num_key not in info_ip:
            info_ip[num_key] = 0
        self.ip_queue.put(info_ip)
        self.queue_lock.release()

    def quit_check(self, method=''):
        if method == 'w':
            while not self.ip_queue.empty() or self.wait_num > 0:
                time.sleep(1)
        elif method == 'r' and not self.ip_queue.empty():  # 直接退出
            return False

        self.exit_flag = True
        for t in self.threads:
            t.join()

        return True


# ----------------------- test -----------------------
if __name__ == "__main__":
    check = checkIp(3, ['abc'])
    check.start_check()
    file_t = open('abc_t.txt', 'a')  # try 
    file_c = open('abc_c.txt', 'a')  # cancel
    # info 必须 file　（其中有　该ip爬虫的标识，　正确文件写open，　错误文件写open）,  ip,  port,  选有: type,  其他字段顺序保存
    ip_info = {'file': ['abc', file_t, file_c],
               'ip': '123.13.123.111', 'port': '1097', 'type': 'http'}
    check.add_check_ip(ip_info)
    time.sleep(10)
    check.quit_check()
    print('end')

# static_info.py
import random
class static_info:
    user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]
	# 我在网上找的一些网址,大家也可以自己整理
    urls = {'http': [['http://tggg.37.com/', 1],  
                     ['https://app.tanwan.com', 1],
                     ['http://chongqing.bianminwang.com/', 1],
                     ['http://tc.519397.com/flash/wxot/index.html', 1],
                     ['http://bj.wfc188.com/', 1],
                     ['http://jfk2.sanfsw.net/', 1],
                     ['http://qiaomuyi.cn/', 1],
                     ['http://time.yixingjiaoyu.cn', 1],
                     ['http://m.lemonyule.com/', 1],
                     ['http://www.265.com/', 1],
                     ['http://www.0460.com/', 1],
                     ['http://www.sohu.com/', 1],
                     ['http://www.9991.com/', 1],
                     ['http://m.2499kp.com/', 1]],
            'https': [['https://www.baidu.com/', 1],
                      ['https://www.ett.cc/', 1],
                      ['https://www.so.com/', 1],
                      ['https://www.hao123.com/', 1],
                      ['https://www.2345.com/', 1],
                      ['https://www.sogou.com', 1],
                      ['https://www.soso.com', 1],
                      ['https://123.sogou.com/', 1],
                      ['https://www.37.com/', 1],
                      ['https://mos.m.taobao.com', 1],
                      ['https://cq.58.com', 1]
                      ]}

    def __init__(self):
        pass

    def get_random_headers(self):
        UserAgent = random.choice(self.user_agent_list)
        headers = {'User-Agent': UserAgent}
        return headers

    def get_random_url(self, htype):
        if htype not in self.urls:
            print('get test url unknow type!')
            return None
        return random.choice(self.urls[htype])

代理隔一段时间就会失效，所以对自己的代理ip进行定期的检测是有必要的，下面就是我的检测代码。

# test_proxy.py
import time
import os
import sys
import shutil
try:
    from src import tools, check_proxy, static_info
except:
    import tools
    import check_proxy
    import static_info

ip_file = ''


def check_ip_file(file_name):

    ip_file = os.path.splitext(os.path.basename(file_name))[0]

    ip_file += str(time.time()).replace('.', '_')
    check = check_proxy.checkIp(3, [ip_file])
    check.start_check()
    ft = open(ip_file + '_t.txt', 'w')
    fc = open(ip_file + '_c.txt', 'w')
    with open(file_name, 'r') as fr:
        lines = fr.readlines()
        data_i = 0
        li = 0
        if lines[0].strip().isnumeric():
            data_i += 1
        l_i2 = [0, 1, 2]
        for l in lines[data_i:]:
            data = l.strip().split(',')
            info = {}
            info['file'] = [ip_file, ft, fc]
            info['ip'] = data[l_i2[0]].strip()
            info['port'] = data[l_i2[1]].strip()
            info['type'] = data[l_i2[2]].strip()
            for i, k in enumerate(data):
                if i not in l_i2:
                    info['data'+str(i)] = k
            check.add_check_ip(info)

    check.quit_check('w')
    ft.close()
    fc.close()
    shutil.move(ip_file + '_t.txt', file_name)


if __name__ == '__main__':
    if len(sys.argv) < 2:
        file_name = 'abc_t.txt'
    else:
        file_name = sys.argv[1]

    check_ip_file(file_name)

代码没太整理， 功能测试正确，就先做个笔记，大家也可以参考下。这里下载！

HockerF
关注
专栏目录
代理ip
mxh的博客
02-23 7359
代理（proxies参数）如果需要使用代理，你可以通过为任意请求方法提供 proxies 参数来配置单个请求：import requests # 根据协议类型，选择不同的代理 proxies = { "http": "http://12.34.56.79:9527", "https": "http://12.34.56.79:9527", } response = requests.g...
代理IP测试方法
一只小辣椒的博客
01-18 1951
分享一个python 测试代理IP的可用性方法： 下面是我从一些代码网站爬取下来的ip 直接上代码了 import csv import requests filename = r"C:\Users\Administrator\Desktop\代理ip.csv"#待测代理ip文件 f = open(filename) sheet = f.readlines() for she in sheet[1:len(sheet)]: she_str = she.split(",") #逗号分隔，转列表格式
如何检测代理IP的“清洁度”
最新发布
yypzy27997的博客
08-19 482
干净”的代理IP指的是那些未被滥用、未被列入黑名单、速度稳定且安全性高的代理IP。它们不会因为之前的滥用行为而影响用户的正常使用，也不会因为被列入黑名单而导致访问受限。未被列入黑名单：没有被各大网站、服务提供商或安全组织列入黑名单。速度稳定：能够提供稳定的连接速度，满足日常使用需求。安全性高：不会泄露用户的真实IP，且不会携带恶意软件或病毒。低滥用记录：之前没有被大量用于恶意活动，如垃圾邮件发送、DDoS攻击等。检测代理IP是否“干净”是一个多步骤的过程，需要综合考虑多个方面。
测试IP代理的方法
IPWO_World的博客
04-26 796
许多IP代理商在提供IP代理服务前还会向用户提供一项免费测试服务，提供的流量有多有少，但是在用户按步骤操作下，绝大多数人都能通过IP代理商赠送的流量确认该运营商是否满足自己业务需求。所以说，测试代理IP服务至关重要。
代理干货：如何测试代理IP的有效性？
qq_34623639的博客
07-16 433
随着网络安全和匿名浏览越来越重要，选择一个高效的代理IP显得尤为重要。无论是保护隐私，还是访问受限内容，代理IP都能提供很多便利。然而，如何判断所选代理IP的有效性呢？本文将详细介绍测试代理IP有效性的具体方法。
探索Proxy Scraper Checker：一款强大的代理IP检测工具
gitblog_00004的博客
04-25 583
探索Proxy Scraper Checker：一款强大的代理IP检测工具 proxy-scraper-checkerHTTP, SOCKS4, SOCKS5 proxies scraper and checker with rich functionality.项目地址:https://gitcode.com/gh_mirrors/pr/proxy-scraper-checker 项目简介 在...
HTTP代理IP检测高达
03-18
HTTP代理IP检测高达，哇咔咔。安全无毒。
python requests 测试代理ip是否生效
12-23
'''代理IP地址（高匿）''' proxy = { 'http': 'http://117.85.105.170:808', 'https': 'https://117.85.105.170:808' } '''head 信息''' head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit...
获取代理IP检测是否有效-易语言
06-12
3. **逐个测试代理IP**：对于每个IP，构造一个HTTP请求，设置其为代理，并尝试访问一个测试网站。 4. **验证响应结果**：分析HTTP响应的状态码和内容，判断代理IP是否有效。 5. **记录和展示结果**：将有效的代理IP...
python爬取代理IP并进行有效的IP测试实现
01-21
爬取代理IP及测试是否可用 很多人在爬虫时为了防止被封IP，所以就会去各大网站上查找免费的代理IP，由于不是每个IP地址都是有效的，如果要进去一个一个比对的话效率太低了，我也遇到了这种情况，所以就直接尝试了一...
检测代理IP匿名程度的方法(附代理基本知识)
09-04
检测代理IP匿名程度的方法检测代理IP匿名程度的方法检测代理IP匿名程度的方法
代理ip池（自动采集ip地址 从网站获取ip地址，检测是否可用，并实时更新，存入数据库中）
10-12
代理ip池（自动采集ip地址 从网站获取ip地址，检测是否可用，并实时更新，存入数据库中）
java实现免费代理IP的获取方式 并实时校验代理IP是否有效
09-30
Java 实现免费代理IP的获取方式 并动态实时校验是否有效，java文件项目内含有Jsoup的Jar包（Jsoup是加工过的，含请求），有2个主入口程序： 其一：用于请求代理IP，并立即校验是否是一个有效的代理IP，如果有效，保存到相应的文件中。。。 其二：对已下载到本地的代理IP进行再筛选，对失效的代理IP进行处理，对任然有效的ip进行保存 结语：如果对你有帮助，请为我评论点赞
代理IP库.txt
05-22
6万2千多条国外代理IP，自用于测试。每一条都是亲测可用的。
代理IP 有效性检测
更上一层楼！
01-07 3万+
摘要 原理 服务器端 _SERVER 脚本 客户端 urllib2 requests 完整代码 演示 提示 清洗效果 总结摘要昨天下午的时候，真的是无语至极。本以为CSDN上博友们应都是与人为善类型的。没想到都博客专家级别的了，出口竟是如此不堪。难道请教问题就得是一副高高在上，别人必须给你解决问题，给你代码吗？对于此类人，我不做过多评价。我只会在心里默默说一句，好自为之吧。希望此后永远不会有交集！言
代理IP
dldl1718的博客
03-22 724
原理：以主机先访问代理ip,再通过代理IP地址访问互联网，网站（服务器）接收到的访问IP就是代理IP。 urllib.request.ProxyHandler()动态设置代理IP池。代理IP主要以 字典的形式写入。 设置代理之后，将设置好的代理IP写入urllib.request.build_opener()方法 ，生成opener对象，通过opener的open方法向网站（服务器）发送...
如何测试代理IP是否可用？
随便写写
03-04 1267
测试代理IP的可用性对于保证爬虫任务的顺利进行至关重要。通过Ping命令、curl/wget工具或编写代码等多种方法，我们可以有效地筛选出可用且可靠的代理IP。在实际应用中，建议新手朋友从多个渠道获取代理IP，并进行充分的测试。同时，也要关注代理IP的稳定性和速度等性能指标，以确保爬虫任务的高效执行。此外，为了避免代理IP被封锁，建议新手朋友在使用代理IP时遵守目标网站的爬虫协议和法律法规。合理设置请求频率、使用User-Agent伪装等技术手段，以降低被封锁的风险。
代理ip地址：
热门推荐
wulong710的专栏
03-17 38万+
代理ip地址： http://www.youdaili.cn/Daili/http/1802_2.html 14.18.17.163:80@HTTP#广东省广州市 电信 27.46.11.233:8888@HTTP#广东省深圳市 联通 42.62.41.228:3128@HTTP#北京市海淀区 森华易腾IDC机房 42.62.41.229:3128@HTTP#北京市海淀区 森华易
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值