爬取出来的代理ip通常不少都是不能用或者速度很慢的,因此在使用前应该对这些ip进行一次筛选
这次的筛选使用了两种类型,一种是基于request的还有一种是机遇telnet的。相比较之下,使用request对特定网站进行筛选在使用的效果上更好。
import urllib
import json
import traceback
import telnetlib
import urllib.request
from getProxy.settings import MAX_DELAY #最大时延
from getProxy.settings import TARGET_URL #目标url
from getProxy.settings import FILTER_TYPE #筛选类型 0:telnet 1:request
from getProxy.settings