Python爬取煎蛋网图片

看到网上一篇很有意思的文章说爬虫与反爬虫就是套路与反套路，初学爬虫，好像确实有这么点体会。因个人工作需要，想从网上爬一些美女图片当配图，于是搜到了煎蛋网。最早煎蛋网url采用页数命名，类似于http://jandan.net/ooxx/page-9#comments，能够直接进行推测，后来改成了某种规则生成的随机码，类似于http://jandan.net/ooxx/MjAyMDA0MjAtMTky#comments，初学爬虫套路不深的我对此束手无措，虽然通过大量观察摸索到了随机码的一点规律，但是并不能保证爬完整个网站。

从网上百度果然找到了更好的思路，简直妙哉。煎蛋网每一页都有【下一页】按钮，知道第一页的url，提取出下一页的url，如此递归下去，不就能爬取全站了吗。真是被自己蠢到了。代码如下，改自某热心网友，抱歉没保存原博文链接，就不引用了，类似的思路有好几篇。

import requests
import os
from bs4 import BeautifulSoup

def get_soup(url):
    r = requests.get(url, headers=headers)
    return BeautifulSoup(r.text, "lxml")

def download_this_page(soup):
    global img_id
    for link in soup.find_all('a', {'class': 'view_img_link'}):
        img_url = link.get('href')
        with open('{}{}.jpg'.format(download_dir, img_id), 'wb') as f:
            f.write(requests.get('http:' + img_url).content)
        print(img_id)
        img_id += 1

if __name__ == '__main__':
    download_dir = 'D:\\jandan\\'
    if not os.path.exists(download_dir):
        os.mkdir(download_dir)
    img_id = 1    # 使用数字为下载图片命名
    max_page = 150   # 指定爬取页数
    url = 'http://jandan.net/ooxx/'
    headers = {
        'referer': 'http://jandan.net/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
    }
    for i in range(max_page):
        soup = get_soup(url)
        download_this_page(soup)
        #获取下一页的url
        url = 'http:' + soup.find('a', {'class': 'previous-comment-page'}).get('href')

不能提前获取某一页的url，就意味着不能用多线程对不同页并行处理了，但仍然可以把获取到的图片url先保存在队列中，然后采用多线程下载