python 爬取西刺免费代理ip 并使用telnetlib.Telnet验证是否有效

大蛇王

于 2017-12-01 17:28:02 发布

阅读量2k

点赞数 1

分类专栏： python爬虫项目文章标签： python 免费代理验证代理IP telnetlib 爬虫

本文链接：https://blog.csdn.net/t8116189520/article/details/78688826

版权

最近运行使用时间2017.12.01

运行结果正常

运行环境python.27

#coding:utf8
from bs4 import BeautifulSoup
import urllib2
import sys
reload(sys)
import telnetlib



def getProxyList(targeturl="http://www.xicidaili.com/nn/"):
    # 创建变量查看爬取IP数量
    countNum=0
    # 创建打开txt文件
    proxyFile=open('ip_port.txt','a')
    
    # 设置报头
    requestHeader={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0"}
    
    # 爬取前五页
    for page in range(1,5):
        url=targeturl+str(page)
        print(url)
        request=urllib2.Request(url,headers=requestHeader)
        html_doc=urllib2.urlopen(request).read()
        
        # 使用bs4匹配
        soup=BeautifulSoup(html_doc,