python多线程筛选代理ip

最新推荐文章于 2023-05-24 16:57:36 发布

_Patrick_Star_

最新推荐文章于 2023-05-24 16:57:36 发布

阅读量605

点赞数 1

文章标签： python 多线程代理ip

本文链接：https://blog.csdn.net/qq_27481295/article/details/72814139

版权

本文介绍如何利用Python的多线程技术对爬取的代理IP进行有效性筛选，通过requests库针对特定网站测试代理IP的可用性和速度，以提升筛选效果。

摘要由CSDN通过智能技术生成

爬取出来的代理ip通常不少都是不能用或者速度很慢的，因此在使用前应该对这些ip进行一次筛选

这次的筛选使用了两种类型，一种是基于request的还有一种是机遇telnet的。相比较之下，使用request对特定网站进行筛选在使用的效果上更好。

import urllib
import json
import traceback
import telnetlib
import urllib.request
from getProxy.settings import MAX_DELAY #最大时延
from getProxy.settings import TARGET_URL #目标url
from getProxy.settings import FILTER_TYPE #筛选类型 0：telnet 1:request
from getProxy.settings