爬取站酷网图片

# https://www.zcool.com.cn/
import requests,os,re
from urllib import request
from lxml import etree


class ZkSpider(object):
    def __init__(self):
        self.url='https://www.zcool.com.cn/'
        self.headers={
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
        }


    def get_html(self):
        html=requests.get(self.url,headers=self.headers).text
        # print(html)
        html_obj=etree.HTML(html)
        titles=html_obj.xpath('//div[@class="work-list-box"]/div[@class="card-box"]/div/a/@title')          # 每组图片的标题
        hrefs=html_obj.xpath('//div[@class="work-list-box"]/div[@class="card-box"]/div/a/@href')            # 每组图片的链接
        print('****',titles)                # 第一页所有的标题
        self.get_detail_img(hrefs,titles)       # 嵌套函数,直接引用

    #解析详情页图片
    def get_detail_img(self,hrefs,titles):
        for index,href in enumerate(hrefs):             # 循环出每组图片的链接和索引,根据索引匹配到每组图片的标题
            title = titles[index].replace(":","").replace(" ","_").replace("×","_").replace("|", "_").replace(",", "_").replace('/','')                 # 把标题中的特殊字符替换掉
            print('*****',title)                # 打印出标题
            # if not os.path.exists(f'imgs'):
            #     os.mkdir(f'imgs')               # 先建一个总的文件夹用来存储子文件夹和图片
            if not os.path.exists(f"imgs/{title}"):
                os.mkdir(f"imgs/{title}")               # 以分组的标题为名新建文件夹
            response = requests.get(url=href, headers=self.headers)             # 请求每一组匹配到的链接
            self.html = etree.HTML(response.text)           # 生成对象树
            # imgs=self.html.xpath('//div[@class="work-show-box"]/div/img/@src')
            imgs = re.findall(re.compile(r'.*?<img src="https://img(.*?)"', re.S), response.text)           # 每组图片中每张图片的链接
            print(imgs)         # 整组图片的链接
            imgs = ["https://img" + url for url in imgs]            # 拼接每张图片的链接,存放在列表中
            for i, img in enumerate (imgs):                         # 循环出每张图片的链接和索引
                print(img)
                if img:                 # 如果存在这张图片
                    response = requests.get(img).content
                    # 打开图片文件,写进图片数据
                    with open(f"imgs/{title}/{i}.{img.split('.')[-1]}", "wb") as w:             # 以索引为图片名加上后缀名,然后写图片
                        w.write(response)
                else:
                    print(f"出问题的{img}")

        for index,title in enumerate(titles):
            print(title[index])
            for x, img in enumerate(imgs):
                print(x)
                # 获取图片数据
                response = requests.get(img).content
                # 打开图片文件,写进图片数据
                with open(f"images/{title[index]}", "wb") as w:
                    w.write(response)
                # print(f'{index}',img)
                for index,title in enumerate(titles):
                    # print(title)
                    self.title = title
                    path = self.mkdir + '/' + self.title
                    if not os.path.exists(path):
                        os.mkdir(path)
                    print('正在下载第{}张图片,请稍后。。。。'.format(index))
                    request.urlretrieve(img,f'images/{title}')


images=ZkSpider()
images.get_html()
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
酷搜灵感采集工具,采集全球精彩创意,尽在搜灵感。有问题请联系service@zcool-mail.com 酷搜灵感采集工具 酷搜灵感采集工具是一款方便采集精彩图片信息的必备扩展,它可以轻松地帮助你 将网页上的图片采集到您的搜灵感喜欢页,供您或其它酷友们随时随地浏览它们,甚 至可以追溯到这张图片的源网页进行浏览。 酷搜灵感采集工具特点: 1.方便采集 支持单图和批量图片采集,每次对图片的批量采集张数暂无限制哦。 2.采集云同步 采集的图片,能够非常方便地同步到个人的酷账号下,每个人可以按照自己喜好,给图 片自由归类,打上标签,方便搜索,还支持个人各大社交平台账号的分享同步。 3.发现惊喜 作为酷搜灵感产品线的独立扩展,采集全球精彩创意,尽在搜灵感。酷的数百万酷友 们可以使用采集工具来收集他们喜欢的图片,你也可以浏览别人收集的有趣图片,发现新 知,得到启发。 搜灵感采集,采集你喜欢的。 搜灵感采集上线,迅速迭代,越变越美.问题意见,请联系:service@zcool-mail.com *** Version 1.0.0 *** - 增加单图采集功能 - 增加多图采集功能 - 增加用户自定义分类和标签功能 - 增加搜灵感主页分享功能 - 优化多图采集的性能 - 增加单图和多图采集与酷通行证的对接功能 - 最小 Chrome 版本号改为 26 - 完善针对一些特殊页面的图片采集功能 - Manifest 版本升级到 2 *** next version *** - 继续优化用户体验 - 增加谷歌书签采集功能 支持语言:中文 (简体)

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值