python爬取天堂网图片3-获取页面子目录里的面片

上一篇文章介绍的是爬取每个页面的封面图片

例如，每一个有18个目录，即18张封面图，总共11个网面，即198张图片

 

 

本篇介绍爬取每页目录里的图片，并且保存在目录文件夹里

例如：第一个目录酸甜好吃的桑葚图片有11张图，

第二个目录软糯可口的提拉米苏蛋糕图片有19张图。。。。

 

首先分析打开目录时，页面的网址，以第一页面为例

例如：

https://www.ivsky.com/tupian/fructus_mori_v57990/

https://www.ivsky.com/tupian/tiramisu_v57986/

https://www.ivsky.com/tupian/caomei_v57945/

https://www.ivsky.com/tupian/hanbaobao_shutiao_v57946/

https://www.ivsky.com/tupian/zhima_v57942/

https://www.ivsky.com/tupian/kafeidou_v57925/

。。。。。。。。。。。。。

发现规律了没

前面都没有变，后面是文目录的名字

查看html源代码

这些加上域名https://www.ivsky.com就组成了子目录的网页

以第一个目录为例

https://www.ivsky.com/tupian/fructus_mori_v57990/

因此，接下来要做的就是获取这些目录，然后拼接子目录网页的url

for subdir in page.find_all('div', class_='il_img'):

    dirname = subdir.a.attrs['href'] #/tupian/shiliu_v57845/

    completeurl = "https://www.ivsky.com" + dirname #子页面

接着定一个函数处理子页面里的图片

即

def spidersubdir(suburl, page):

然后分析网页，获下图片路径，下载图片，源码如下：

""""
brief:使用BeautifulSoup和request爬天堂网的图片
封面图及目录下的所有图片
author:chenyijun
date:2020-02-19
"""

import requests
from bs4 import BeautifulSoup
import re
import urllib
import urllib.request
import os
from time import strftime, localtime
import datetime

#创建目录
#1、os.path.exists(path) 判断一个目录是否存在
#2、os.makedirs(path) 多层创建目录
#3、os.mkdir(path) 创建目录

def pmkdir(dir):
    dir = dir.strip() #去除首位空格
    dir = dir.rstrip("\\") #去除尾部\符号
    #判断路径是否存， 存在 True  不存在  False
    isExists = os.path.exists(dir)

    #判断结果
    if not isExists:
        #如果不存在则创建目录
        os.makedirs(dir)
        #print(dir + "创建成功")
        return True;
    else:
        #如果目录存在则不创建，并提示目录存在
        #print(dir + "目录存在")
        return False

def cbk(a, b, c):
    '''''回调函数
    @a:已经下载的数据块
    @b:数据块的大小
    @c:远程文件的大小
    '''
    per=100.0*a*b/c
    if per>100:
        per=100
    print ('%.2f%%' % per)
    print(" ")

url = 'https://www.ivsky.com/tupian/meishishijie/'  #取一个图片目录  美食世界
headers ={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3427.400 QQBrowser/9.6.12513.400','Referer':'http://www.ivsky.com/tupian/qita/index_11.html'}
html = requests.get(url, headers = headers) #获取网页内容
#print(html) #太多了，打印不出来

soup = BeautifulSoup(html.text,'html.parser')
#爬取子目录里的图片
def spidersubdir(suburl, page):
    dirname = suburl.split('/')[-2]
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3427.400 QQBrowser/9.6.12513.400',
        'Referer': 'http://www.ivsky.com/tupian/qita/index_11.html'}
    html = requests.get(suburl, headers=headers)
    mess = BeautifulSoup(html.text, 'html.parser')
    # 查找标签为'ul', class属性为'pli'的标签元素，因为class是python的关键字，所以这里需要加个下划线'_'
    dircout = 0 #目录个数
    for subpage in mess.find_all('ul', class_='pli'):
        imgcount = 0 #图片个数
        for subdirimg in subpage.find_all('div', class_='il_img'):
            print(subdirimg)
            imgurl = subdirimg.find_all('img') #获取含img标签的数组
            imgurl0 = imgurl[0] #数组元数里只有一个值
            imgpath = imgurl0.get('src') #单个图片路径
            imgname = imgpath.split('/')[-1] #获取图片名称
            imgcount += 1;
            
            save_dir = os.getcwd() + "/tiantang/page" + str(page) + '/' + dirname  # 保存目录
            isExists = os.path.exists(save_dir)  # 判断目录是否存在

            if not isExists:
                pmkdir(save_dir)  # 目录不存在，创建目录

            save_path = save_dir + "/" + imgname  # 拼接图片保存路径
            imghttp = 'https:' + imgpath  # 拼按图片的url路径
           
            urllib.request.urlretrieve(imghttp, save_path, cbk) #图片下载

        dircout += 1
        print('dircout=========' + str(dircout) + ' dirname==' + dirname)

def spidertupian():
    print(os.getcwd()) #获取当前工作目录路径
    print(os.path.abspath('.')) #获取当前工作目录路径
    print(os.path.abspath('..')) #获取当前工作的父目录 ！注意是父目录路径
    print(os.path.abspath(os.curdir)) #获取当前工作目录路径
    for i in range(1, 12):
        link = url +'/index_'+str(i)+'.html'
       
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.3427.400 QQBrowser/9.6.12513.400',
            'Referer':'http://www.ivsky.com/tupian/qita/index_11.html'}
        html = requests.get(link, headers=headers)
        mess = BeautifulSoup(html.text, 'html.parser')
        # 查找标签为'ul', class属性为'ali'的标签元素，因为class是python的关键字，所以这里需要加个下划线'_'
        for page in mess.find_all('ul', class_='ali'):
            print("---------------------------")
            #获取目录，为避免重复，放到元组或列表里
            for subdir in page.find_all('div', class_='il_img'):
                dirname = subdir.a.attrs['href'] #/tupian/shiliu_v57845/
                completeurl = "https://www.ivsky.com" + dirname
                spidersubdir(completeurl, i) #爬取子目录的图片 i表示页码
               
            print('===========================================================')
            #下载封面图
            for img in page.find_all('img'): #文件夹的url
                print(img)
                imgurl = img.get('src') #获取src字段_
                image_name = imgurl.split('/')[-1] #获取图片名
                save_dir = os.getcwd() + "/tiantang/titlepage" + str(i) #每一页对应一个目录
                isExists = os.path.exists(save_dir) #判断目录是否存在

                if not isExists:
                    pmkdir(save_dir)  # 目录不存在，创建目录

                save_path = save_dir + "/" + image_name #拼接图片保存路径
                imghttp = 'https:' + imgurl #拼按图片的url路径
                urllib.request.urlretrieve(imghttp, save_path, cbk) #封面图下载
        #break #单页测试
if __name__ == '__main__':
    start = datetime.datetime.now()
    spidertupian()
    end = datetime.datetime.now()
    print(end - start)


#html格式化文档网站
#https://tool.oschina.net/codeformat/

 

最后得到的结果为：