代理ip的爬虫实现

import urllib.request
import os
import re
from selenium import webdriver
browser = webdriver.Firefox(executable_path='/home/renpu/pachong/geckodriver')
def open_url(url):
    header={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0'}
    result=urllib.request.Request(url = url, headers=header)
    print(result.headers)
    html = urllib.request.urlopen(result)
    return html.read()

def url_webdriver(url,browser):
    browser.get(url)
    return browser.page_source.encode()

def jindutiao(a,b,c):
    pre = 100*a*b/c
    if pre>100:
        pre =100
        print('%.3f%%'%pre)
    else:
        print('%.3f%%\r'%pre,end='')

def get_img(url,floder):
    if os.path.exists(floder)!=True:
        os.mkdir(floder)
        print('chuangjianchenggong')
    else:
        print('Have exist!!!!')
    os.chdir(floder)
    html = open_url(url).decode('utf-8')
    imgpath=r'img class="BDE_Image" src="([^"]+\.jpg)"'
    imglist=re.findall(imgpath,html)
    '''for each in imglist:
        print(each)'''
    for ea in imglist:
        filename=ea.split('/')[-1]
        urllib.request.urlretrieve(ea,filename,jindutiao)
def get_ip(url,floder):
    if os.path.exists(floder)!=True:
        os.mkdir(floder)
        print('chuangjianchenggong')
    else:
        print('Have exist!!!!')
    os.chdir(floder)
    html = open_url(url).decode('utf-8')
    html1 = url_webdriver(url,browser).decode('utf-8')
    with open('htmldriver.txt','w') as fht:
        fht.write(html1)
    with open('html.txt','wb') as fhtml:
        fhtml.write(open_url(url))
    ip = r'(?:(?:25[0-5]|2[0-4]\d|[01]?\d?\d)\.){3}(?:25[0-5]|2[0-4]\d|[01]?\d?\d)'
    iplist=re.findall(ip,html)
    for i in iplist:
        print(i)
    #for iplis in iplist:
    with open('ip.txt','w') as f:
        f.write(str(iplist))
    file = open('ip.txt')
    a=file.read()
    ip_list=re.findall(ip,a)
    print(type(ip_list))
    print(ip_list[0])
if __name__ == '__main__':
    #url0 = 'http://tieba.baidu.com/p/3563409202'
    url1 ='http://www.data5u.com'
    floder='tanjingfeng'
    #get_img(url0,floder)
    get_ip(url1,floder)