python如何爬取煎蛋图片（js）

以前学爬虫时候发现煎蛋很好爬取，后面发现煎蛋的图片网址用js处理了，折腾了两天终于成功爬出煎蛋的图片，贴出了一起学习（这里只提供pic的爬出，其它的，自己动手修改）
重点在与用到selenium的库去模拟浏览器识别出带js加载的图片网址。

from selenium import webdriver
import requests
import re
import time

def read_file(filename):
    f = open (filename,'r',encoding = 'utf-8')
    text = f.read()
    f.close()
    return text
#######################存文件函数##############################
def save_file(text,filename):
    f = open(filename,'w',encoding = 'utf-8')
    f.write(text)
    f.close()

########直接把列表保存到txt文件中，便于阅读##############
#########lists：传入列表数据；filename：保存为文件名########
def save_list_file(lists,filename):
    f = open(filename,'w',encoding='utf-8')
    for li in lists:
        f.write(li+'\n')
    f.close()

####煎蛋的图片网址用js生成，所有必须要用到selenium模块模拟浏览器访问才能得到########################
def get_js_url(URL):
    browser = webdriver.Chrome('C:\Python35\chromedriver.exe')    
    #需要chromedriver.exe以及制定对应的绝对位置
    browser.get(URL)
    html_text = browser.page_source     
    #有时间可以学习下selenium的操作，这里是只用了其text的输出，然后用熟悉的老方法处理
    browser.close()
    return html_text


def save_pic(html,m):
    global i  #定义全局变量，函数中
    parrtern = re.compile('<img src="(http:.*?)"',re.S) ##利用|，可以识别出mp4和mkv格式
    results = re.findall(parrtern,html)
##########对结果进行处理，区分jpg和gif文件网址，以及对jpg文件网址替换某些元素得到原图####################
    for result in results:
        i += 1
        m = i
        if result[-3:] == 'gif':
            name = str(m)+'.gif'
            result_big = result
        else:
            name = str(m)+'.jpg'
            result_big = result.replace('mw600','large')

        print(result_big)
###############这里利用requests读取图片网址得到图片内容并写入文件夹中##################################
        pic = requests.get(result_big)
        with open(name,'wb') as file:
            file.write(pic.content)
            print('获取第%d张图片' %m)



if __name__ == '__main__':

    URL0 = 'http://jandan.net/pic/'   #输入主页网址
    i = 0                             #图片保存的起始位
    for j in range(0,2):
        URL = URL0 + 'page-'+str(j)+'#comments'
        html = get_js_url(URL)   #得到带js的网页内容，str格式输出
        save_pic(html,i)   #识别并保持图片
        time.sleep(1)
    print('END')