Python爬取煎蛋网多页的图片

使用requests和re模块来实现目的
以爬取煎蛋网里面的随手拍的图片为例
网址：http://jandan.net/ooxx

爬取一页的图片相对比较简单，直接使用这个网址，对里面的源代码进行分析和检索，使用re模块里面的正则表达式进行对目标图片的链接进行提取，这样就可以把单页的图片下载并保存起来。

如果要爬取多页的图片的话，这要在原来的基础上进行一个for each in range（page）的循环，即可爬取多页的图片。

这时我们要分析一下每一页的网址有什么变化，找出相同和不同之处。
例如：
http://jandan.net/ooxx/page-10#comments
http://jandan.net/ooxx/page-9#comments
这两个分别是第9页和第10页的图片网址，不难看出这两个网址，只有page-后面的数字变化，分别对应不同的页数，找到这个规律，我们就可以实现爬取多页的图片。

定义 url = “http://jandan.net/ooxx/page-%s#comments”%page (page为页数)

下面以爬取10页的图片为例
源代码如下：

import requests
import re

def open_url(url):
    headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36'}
    response = requests.get(url,headers=headers)
    return response.text

def find_inf(html,page):
    p = r'img src="([^"]+\.jpg)"'
    imglist = re.findall(p,html)
    i=1
    for each in imglist:
        print(each)
        res = requests.get('http:'+each)
        with open('C:/picture/%s-%s.jpg'%(page,i),'wb') as f: 
            f.write(res.content)
            i +=1
            f.close()

def main(page):
    url = "http://jandan.net/ooxx/page-%s#comments"%page
    html = open_url(url)
    find_inf(html,page)

if __name__ == '__main__':
    for each in range(1,11):
        main(each)

爬取图片如下：

后面还有图片就不一一列举了。
好了，这样就可以实现爬取煎蛋网多页的图片了，再也不用一张一张地下载了，直接批量下载，既快速又便捷。