Python批量抓取站酷ZCOOL作品图片并归档

前言

前几天,由于个人有需求,所以就要对站酷网一些类别下的作品的图片进行批量抓取,首先是采用的是NodeJs来写的,但是在运行的途中遇到很多的问题,所以后来就换成了Python,同时使用了多线程,使得图片下载时达到了宽带的峰值,同样也保证了其质量。

正文

我本次采用的是request和BeautifulSoup组合来进行抓取的,首先我们需要分析站酷的DOM结构:


由上我们可以看出,其主要内容包含在class为work-list-box的这个div内,并且每个作品又是单独包含在class为card-box这个div内的,所以我们需要获取到页面所有的作品元素集合,我封装成了一个函数:

def startRequest(url):
    print("【提示】正在抓取 - %s " % url)
    res = requests.get(url)
    if res.status_code == 200:
        res_html = res.content.decode()
        doc = BeautifulSoup(res_html)
        work_box = doc.find('div', class_={'work-list-box'})
        card_box_list = work_box.find_all('div', class_={'card-box'}) # 此处为所有的作品元素集合
    else:
        print("【文档获取失败】【状态为%s】 - %s," % (url, res.status_code))
复制代码

接下来分析每个模块元素的结构,通过查看DOM元素得知每个card-box下的class为title-content的这个a标签包含了其作品的链接地址以及作品标题,所以我们就可以由此来获取:

title_content = item.find("a", class_={'title-content'})
avatar = item.find('span', class_={'user-avatar'})
复制代码

但是在作品集合元素内,嵌套着推广或广告,但是推广和广告是没有头像avatar元素的,所以我们只需要这样检测头像是否为空就可以过滤掉广告元素,其后获取到作者,URL链接以及标题:

def getContent(item):
    title_content = item.find("a", class_={'title-content'})
    avatar = item.find('span', class_={'user-avatar'})
    if title_content is not None and avatar is not None:
        title = title_content.text
        author = avatar.find("a")["title"]
        href = title_content['href']
    else:
        return
复制代码

接下来,我们需要访问对应的URL,并获取到其中的URL地址:


通过查看DOM元素结构可以看出,其文章主要内容区域在class为work-show-box的div下,然后每个图片/视频/文字区域都是放在class为reveal-work-wrap的div内,所以获取到所有的内容区域集合,然后查看是否有img标签,如果有的话就说明存在图片元素,则是我们需要的内容,并且获取到其src存放至url的集合中去:

def getDocImgLinks(html):
    doc = BeautifulSoup(html)
    work_box = doc.find("div", class_={'work-show-box'})
    revs = work_box.find_all("div", class_={'reveal-work-wrap'})
    img_list = []
    for item in revs:
        img = item.find("img")
        if img is not None:
            img_url = img["src"]
            img_list.append(img_url)
        else:
            print("【提示】:没有图片")
            continue
    return img_list
复制代码

要注意的一点就是,其中有些图片如上图中,会存在@这个表示,就好比http://img.zcool.cn/community/0170165a372344a80121db8001781d.jpg@1280w_1l_2o_100sh.jpg,这个是将原图片进行了裁剪的缩略图,我们只需要将@以及后面的内容去掉就可以得到原图,最后为:http://img.zcool.cn/community/0170165a372344a80121db8001781d.jpg

最后,我们需要将获取的URL图片进行存储,存储的文件夹就以【作者名】-【作品标题】为标准,然后图片就以UUID来随机命名,同时我们需要对一些特殊字符进行过滤转换,以防创建文件夹或文件失败:

def nameEncode(file_name):
    file_stop_str = ['\\', '/', '*', '?', ':', '"', '<', '>', '|']
    for item2 in file_stop_str:
        file_name = file_name.replace(item2, '-')
    return file_name
复制代码

所以,最后的完整源码如下:

import sys
from bs4 import BeautifulSoup
import requests
import os
import uuid
import threading


def startRequest(url):
    print("【提示】正在抓取 - %s " % url)
    res = requests.get(url)
    if res.status_code == 200:
        res_html = res.content.decode()
        doc = BeautifulSoup(res_html)
        work_box = doc.find('div', class_={'work-list-box'})
        card_box_list = work_box.find_all('div', class_={'card-box'})
        for item in card_box_list:
            getContent(item)
    else:
        print("【文档获取失败】【状态为%s】 - %s," % (url, res.status_code))


def getContent(item):
    title_content = item.find("a", class_={'title-content'})
    avatar = item.find('span', class_={'user-avatar'})
    if title_content is not None and avatar is not None:
        title = title_content.text
        author = avatar.find("a")["title"]
        href = title_content['href']
        # print("%s - 【%s】- %s" % (title, author, href))
        res = requests.get(href)
        if res.status_code == 200:
            # 获取所有的图片链接
            img_list = getDocImgLinks(res.content.decode())
            path_str = "【%s】-【%s】" % (author, title)
            path_str_mk = pathBase('./data/'+nameEncode(path_str))
            if path_str_mk is None:
                return
            else:
                for img_item in img_list:
                    downloadImg(img_item, path_str_mk)

        else:
            print("【文档获取失败】【状态为%s】 - %s," % (href, res.status_code))
    else:
        return


def getDocImgLinks(html):
    doc = BeautifulSoup(html)
    work_box = doc.find("div", class_={'work-show-box'})
    revs = work_box.find_all("div", class_={'reveal-work-wrap'})
    img_list = []
    for item in revs:
        img = item.find("img")
        if img is not None:
            img_url = img["src"]
            img_list.append(img_url)
        else:
            print("【提示】:没有图片")
            continue
    return img_list


def pathBase(file_path):
    file_name_s = file_path.split("/")
    file_name = file_name_s[len(file_name_s) - 1]
    file_name_s[len(file_name_s) - 1] = file_name
    path = "/".join(file_name_s)
    if not os.path.exists(path):
        os.mkdir(path)
    return path


def nameEncode(file_name):
    file_stop_str = ['\\', '/', '*', '?', ':', '"', '<', '>', '|']
    for item2 in file_stop_str:
        file_name = file_name.replace(item2, '-')
    return file_name


def downloadImg(url, path):
    z_url = url.split("@")[0]
    hz = url.split(".")
    z_hz = hz[len(hz) - 1]
    res = requests.get(z_url)
    if res.status_code == 200:
        img_down_path = path + "/" + str(uuid.uuid1()) + "." + z_hz
        f = open(img_down_path, 'wb')
        f.write(res.content)
        f.close()
        print("【下载成功】 -  %s" % img_down_path)
    else:
        print("【IMG下载失败】【状态为%s】 - %s," % (z_url, res.status_code))


if __name__ == '__main__':
    threads = []

    for i in range(1, 22):
        url = 'http://www.zcool.com.cn/search/content?type=3&field=8&other=0&sort=5&word=APP%E8%AE%BE%E8%AE%A1' \
              '&recommend=0&requestId=requestId_1513228221822&p='+(str(i))+'#tab_anchor '
        threads.append(threading.Thread(target=startRequest, args={url}))

    for item in threads:
        item.start()
复制代码

后记

说说最后的效果吧,通过几十分钟的抓取,峰值为11MB的下载速度,成功抓取了站酷网站的2500+的作品,总大小为30GB左右。如果上述代码中有任何不清楚的地方,您可以在下方进行留言,我会及时回答您的疑惑。


原文链接:www.licoy.cn/3019.html


  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
站酷搜灵感采集工具,采集全球精彩创意,尽在搜灵感。有问题请联系service@zcool-mail.com 站酷搜灵感采集工具 站酷搜灵感采集工具是一款方便采集精彩图片信息的必备扩展,它可以轻松地帮助你 将网页上的图片采集到您的搜灵感喜欢页,供您或其它酷友们随时随地浏览它们,甚 至可以追溯到这张图片的源网页进行浏览。 站酷搜灵感采集工具特点: 1.方便采集 支持单图和批量图片采集,每次对图片批量采集张数暂无限制哦。 2.采集云同步 采集的图片,能够非常方便地同步到个人的站酷账号下,每个人可以按照自己喜好,给图 片自由归类,打上标签,方便搜索,还支持个人各大社交平台账号的分享同步。 3.发现惊喜 作为站酷搜灵感产品线的独立扩展,采集全球精彩创意,尽在搜灵感。站酷的数百万酷友 们可以使用采集工具来收集他们喜欢的图片,你也可以浏览别人收集的有趣图片,发现新 知,得到启发。 搜灵感采集,采集你喜欢的。 搜灵感采集上线,迅速迭代,越变越美.问题意见,请联系:service@zcool-mail.com *** Version 1.0.0 *** - 增加单图采集功能 - 增加多图采集功能 - 增加用户自定义分类和标签功能 - 增加搜灵感主页分享功能 - 优化多图采集的性能 - 增加单图和多图采集与站酷通行证的对接功能 - 最小 Chrome 版本号改为 26 - 完善针对一些特殊页面的图片采集功能 - Manifest 版本升级到 2 *** next version *** - 继续优化用户体验 - 增加谷歌书签采集功能 支持语言:中文 (简体)

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值