面向对象+爬虫+队列+多线程+生产者消费者模式一键爬取全网霉霉图片

最新推荐文章于 2024-05-30 07:32:10 发布
最新推荐文章于 2024-05-30 07:32:10 发布
阅读量268 收藏 2
点赞数 2
分类专栏： 爬虫 文章标签： python 分布式 爬虫 面向对象编程 队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/max_LLL/article/details/118703810
版权

霉粉们的福利来啦!!!

面向对象+爬虫+队列+多线程+生产者消费者模式一键爬取全网霉霉图片

先介绍一波霉霉:
泰勒·斯威夫特（Taylor Swift），1989年12月13日出生于美国宾夕法尼亚州，美国女歌手、词曲作者、音乐制作人、演员。2006年，发行个人首张音乐专辑《Taylor Swift》，该专辑获得美国唱片业协会认证5倍白金唱片销量。2008年，发行音乐专辑《Fearless》，该专辑在美国公告牌专辑榜上获11周冠军，认证7倍白金唱片销量，并获得第52届格莱美奖年度专辑奖…
在这里插入图片描述
总之,霉霉就是很优秀,唱歌很好听,是我的最喜欢的歌手哈哈哈

100行代码教你爬取全网的霉霉图片

使用到的技术(下面我会逐一讲解):

  • 爬虫
  • 面向对象
  • 消费者生产者模式
  • 多线程
  • 队列

如果你是一个霉霉的忠实粉丝,那么你的福利来了!!!
先上图:
在这里插入图片描述
看到旁边的滚轮没有,没错,你现在看到的霉霉的图片只是冰山一角!!!多的话不说,就问你想不想要,哈哈哈,想要的话就接着向下看吧~(不想要也可以看看嘻嘻)
在这里插入图片描述
整体的代码采用的是面向对象的编程风范,以生产者-消费者模式对数据的生产和消费,其中,生产者指的是–获取的图片url的某一个具体对象(生产图片的url),
消费者指的是获取url下载图片(消费图片的url),在本文中,生产者只有一个(因为它的生产水平有点高哈~),消费者的时时刻刻都在产生,直至完成它的特定任务才会被销毁,咱们上代码细聊吧!

首先来看一个整个类的结构
类名:SpiderTS
类属性:
count :用于记录对象的个数
urlQueue :url的队列,存储的是图片的url
urlDic :url的字典(记录已获取的url,主要就是为了去重,避免重复爬取)
在这里插入图片描述

至于为什么会把这些变量设置为类属性,大家都应该知道,目的是为了让每一个对象都有权限访问.
对象的初始化:
在这里插入图片描述
在对象初始化设置中没有设置什么特别的参数,就只有一个自身编号的变量num(保存霉霉的图片的路径用到了这个属性的)
在这里插入图片描述
在这里插入图片描述
重点来了!

生产者–获取图片的url
首先我先声明,不管是生产者还是消费者,其实说白了都是一个爬虫,只是爬取的东西不一样而已,在这里,我用到的是selenium库,为什么用这个库呢?原因很简单,因为我难在这里插入图片描述
首先来看一下网页结构:
在这里插入图片描述

通过百度搜索霉霉的图片,然后点击到图片,就会显示霉霉的图片,当你向下滑动鼠标滚轮的时候,它会加载更多的图片,可想而知它是异步加载的,估计又是通过传递不同的参数获取不同的图片,具体是哪些参数我不想去想,具体有哪些参数我也不想去想,具体的参数是怎么变化的我也不想去想,总之,我就是不想花额外的脑子去判断这些参数的变化,有现成的selenium它不香吗?
在这里插入图片描述
所以加载数据这部就直接走捷径了
再来看看要获取的url具体在哪:
第一层结构(div[@class=“imgpage”]看到重复的类名,不用想,图片的url肯定保存在里面):
在这里插入图片描述
第二层结构(ul)
在这里插入图片描述
第三层结构(可想而知一定是li)
在这里插入图片描述
第四层结构(div[@class=“imgbox”])
在这里插入图片描述
最后一层层结构(a,这老东西可藏的真是深啊,包的严严实实的)
在这里插入图片描述
终于掏到它老家了在这里插入图片描述在这里插入图片描述
所以xpath按理来说应该这样写:

//div[@class="imgpage"]/ul/li/div/a/img/@data-imgurl

但是还是被打脸了,看是没有一丝错误的存在,但是实际上语法真的没有错,理解也是正确的,但是呢
在这里插入图片描述
用selenium里面自带的xpath的话,只能获取节点,而不能获取节点的属性值,所以这也是被打脸的原因
如果要获取节点的某一个属性值可以通过get_attribute(属性名)方法进行获取
如下图,我是这样获取url的值的:
在这里插入图片描述
再来看看消费者的整体代码:

# 生产者 不断获取图片的url,添加到urlQueue中
    def crawlUrl(self):
        chrome = webdriver.Chrome()
        chrome.get(baseurl)
        js = 'setInterval(function(){document.documentElement.scrollTop=10000000000000000},2000)'  # 将页面拉到底部
        while True:
            chrome.execute_script(js)
            imgUlrList = chrome.find_elements_by_xpath('//div[@class="imgpage"]/ul/li/div/a/img')  # 节点列表

            for img in imgUlrList:
                imgurl = img.get_attribute('data-imgurl')  # 节点的属性值
                if not self.check(imgurl):  # 如果是第一次获取的该url就加入到队列中
                    SpiderTS.urlQueue.put(imgurl)
                    SpiderTS.urlDic[imgurl] = 1  # 同时记录该url已被爬取

            sleep(1)

整体结构就是:
打开图片的网页—>注入js(模拟人进行向下滚动滚轮以达到加载图片的目的)—>每隔一秒钟获取网页上图片的url,并且将新增的url插入到urlQueue队列的尾部
在添加url到队列中时用到了一个判断是否已经存在该url的check函数:
在这里插入图片描述
在这里类属性:urlDic就派上了用场,它是一个字典(至于为什么用字典,原因大家也应该都知道,因为它的搜索复杂度低,效率高!),具体原理是这样的,每当获取一个新的url时,通过SpiderTS.urlDic[url]进行检索,如果有就返回该值(值为1),否则就会保存,这也是为什么用try语句的,所以实质性没有我的话会返回0,
在这里插入图片描述
所以check函数的返回值的具体意义就是:
1:这个url不是第一次被抓取的,所以不会被再次添加到urlQueue队列中
0:这个url是第一次被抓取的,添加到urlQueue队列中
最后:
在这里插入图片描述
小睡一回儿~
压压惊~
在这里插入图片描述

消费者–下载图片
消费者的原理很简单—你给我一个url,我就还你一张霉霉的美照~,还是挺大方的哈哈哈

 # 消费者 不断从urlQueue中获取url 进行图片的下载 下载完成之后 将该url添加到doneList中
    def downloadImg(self):
        url = SpiderTS.urlQueue.get()
        response = get(url, headers=self.headers)
        imgData = response.content

        with open(f'全网霉霉图片/TS{self.num}.jpg', 'wb+') as f:
            f.write(imgData)

实质上也是从队列中获取图片的url,然后进行爬取,保存到本地,是不是很简单呀~

有了生产者和消费者,咱们就来开始进行生产和消费吧!

创建生产者:

# 创造生产者 并让其进行生产
def createProducer():
    # 生产者爬虫
    producer = SpiderTS()
    producer.crawlUrl()

没方法,咋就是效率高,一个生产者够一群消费者进行消费了!

创建消费者:

# 创建消费者 并让其进行消费
def createCustomer():
    # 消费者爬虫
    while True:
        while SpiderTS.urlQueue.qsize() > 0:
            consumer = SpiderTS()
            consumer.downloadImg()
            print('剩余:', SpiderTS.urlQueue.qsize())

可以看到外层循环是一个死循环,只要你供给(图片的url)还有,我就不断产生消费者进行消费.

最后,多线程让生产者和消费者分别展开各自的工作

# 使用多线程 让生产者和消费者同时进行各自的工作
    productThread = Thread(target=createProducer)
    consumeThread = Thread(target=createCustomer)
    productThread.start()
    consumeThread.start()

    productThread.join()
    consumeThread.join()

来看看具体的效果:
在这里插入图片描述
在这里插入图片描述
整体代码如下:

from queue import Queue
from time import sleep
from requests import get
from selenium import webdriver
from threading import Thread
baseurl = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&fm=detail&lm=-1&hd=undefined&latest=undefined&copyright=undefined&st=-1&sf=2&fmq=&fm=detail&pv=&ic=undefined&nc=1&z=0&se=&showtab=0&fb=0&width=undefined&height=undefined&face=0&istype=2&ie=utf-8&word=%E9%9C%89%E9%9C%89%E5%A3%81%E7%BA%B8'

class SpiderTS:
    count = 1  # 记录爬虫的数量
    urlQueue = Queue()  # 存放为爬取的url
    # 保存所有的url 不管有没有被爬取(功能是去重) 在将新获取的url添加到队列之前,检测集合中是否已经有该url,如果有就不添加到队列中
    urlDic = dict()

    def __init__(self):
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4503.5 Safari/537.36'}  # 请求头
        self.num = SpiderTS.count  # 每一个对象各自的编号
        if self.num == 1:
            print(f'编号{self.num}的爬虫正在获取图片的url中...')
        SpiderTS.count += 1  # 每新建一个对象-->爬虫数量加一

    def __str__(self):  # 爬取完成后的反馈
        if self.num == 1:
            return f'编号{self.num}的爬虫获取图片的url中完成!'
        else:
            return f'编号{self.num}的爬虫图片爬取完成!'

    # 生产者 不断获取图片的url,添加到urlQueue中
    def crawlUrl(self):
        chrome = webdriver.Chrome()
        chrome.get(baseurl)
        js = 'setInterval(function(){document.documentElement.scrollTop=10000000000000000},2000)'  # 将页面拉到底部
        while True:
            chrome.execute_script(js)
            imgUlrList = chrome.find_elements_by_xpath('//div[@class="imgpage"]/ul/li/div/a/img')  # 节点列表

            for img in imgUlrList:
                imgurl = img.get_attribute('data-imgurl')  # 节点的属性值
                if not self.check(imgurl):  # 如果是第一次获取的该url就加入到队列中
                    SpiderTS.urlQueue.put(imgurl)
                    SpiderTS.urlDic[imgurl] = 1  # 同时记录该url已被爬取

            sleep(1)

    # 检测某一条url 返回0就代表该url是第一次获取的
    def check(self, url):
        try:
            return SpiderTS.urlDic[url]
        except:
            return 0

    # 消费者 不断从urlQueue中获取url 进行图片的下载 下载完成之后 将该url添加到doneList中
    def downloadImg(self):
        url = SpiderTS.urlQueue.get()
        response = get(url, headers=self.headers)
        imgData = response.content

        with open(f'全网霉霉图片/TS{self.num}.jpg', 'wb+') as f:
            f.write(imgData)


# 创造生产者 并让其进行生产
def createProducer():
    # 生产者爬虫
    producer = SpiderTS()
    producer.crawlUrl()


# 创建消费者 并让其进行消费
def createCustomer():
    # 消费者爬虫
    while True:
        while SpiderTS.urlQueue.qsize() > 0:
            consumer = SpiderTS()
            consumer.downloadImg()
            print('剩余:', SpiderTS.urlQueue.qsize())


if __name__ == '__main__':
    # 使用多线程 让生产者和消费者同时进行各自的工作

    productThread = Thread(target=createProducer)
    consumeThread = Thread(target=createCustomer)

    productThread.start()
    consumeThread.start()

    productThread.join()
    consumeThread.join()

想亲自操刀的小伙伴可以亲自动手试试呀~
同时我也会在我个人的博客上发布更多博客,供大家进行学习参考,有兴趣的小伙伴可以来踩踩我的个人博客,博客链接:LLL的blog,欢迎大家的光临呀!
在这里插入图片描述

白日梦想猿
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
爬虫爬取豆瓣电影排行前250（试用面向对象的方式写）
lynskylate的博客
08-22 2179
爬虫爬取豆瓣电影排行前250参考资料：xlzd爬取豆瓣电影 Python 爬虫-模拟登录知乎-爬取拉勾网职位信息在参考xlzd的教程后，已经实现过对豆瓣电影前250名的爬取，为训练自己对类的掌握，准备将其改写为面向对象的写法，又恰好看见segmentfault那篇文章对于openpyxl的使用，将爬虫获得的资料也使用xls储存。首先确定使用的库解析网页：BeautifulSoup 网页请求：re
用面向对象写一个通用爬虫模板
弓夫散人的博客
03-17 648
面向对象的爬虫模板前言初衷实现先来一个最简单的爬虫类给简单的类加点参数重试的方法异常处理加上保存数据,完整的单线程爬虫提速爬取总结 前言 本文内容及代码仅供交流学习使用,如有不足之处,请多指点,如有用于恶意攻击网站等违法行为,请自行负责. 初衷 学习python爬虫有一段时间了.经常会想如果我有那么一个标准的轻量化模板,对于简单的网页,只要输入网址,我就可以得到网页源码.省那么一点点导库,设参,把主要精力放在解析提取数据上面,要是能把重试,错误日志,提高爬取速率等等也加上去,像scrapy一样用注释预设好,
# 面向对象编程（OOP）爬虫，爬取LOL的英雄皮肤
weixin_41334453的博客
08-24 165
如果你是一名撸友，那么你对LOL英雄皮肤应该是相当的喜欢的，毕竟有些皮肤用起来会让我们的手感得心应手的。 我们先来看看僧哥的新皮肤 首先先对<https://lol.qq.com/>分析一波 1.既然要拿取到英雄的皮肤，得先找英雄的资料库吧 2.点击资料库，查看英雄的详情，再右键点检查（随便点一个英雄） 点...
面向对象的爬虫实现
qq_45316770的博客
08-04 285
简单的爬虫实现记录
爬虫(12)——多线程爬虫(消费者生产者模式、condition模式)
devilangel2的博客
04-13 435
多线程爬虫 多线程是为了同步完成多项任务,不是为了提高运行效率,而是为了提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。 最简单的比喻多线程就像火车的每一节车厢,而进程则是火车。车厢离开火车是无法跑动的,同理火车也不可能只有一节车厢。多线程的出现就是为了提高效率。同时它的出现也带来了一些问题。” import threading import time de...
并发编程（五）python实现生产者消费者模式多线程爬虫
qq_42546127的博客
03-20 1035
文章目录多组件的Pipeline技术架构生产者消费者爬虫架构多线程数据通信的queue.Queue代码实现 多组件的Pipeline技术架构 在介绍或者使用生产者消费者模式前我们先大概了解一下Pipeline架构。 例如，对于一件复杂的事情，我们常常都不会一下子做完，而是会分成很多中间步骤一步步完成，进而简化复杂的事情。请看下图： 如图，我们现在有一个事情由输入数据得到输出数据，中间会经过很多的模块，而这些模块之间会通过中间数据进行交互。我们称这些处理模块为处理器也叫Processor，而
拉勾网爬虫_面向对象
calculate_1的博客
09-24 738
import requests from lxml import etree import json import sys class Lagou(object):def __init__(self): self.headers = { 'X-Requested-With': 'XMLHttpRequest', 'User-Agent': 'Mozil
python面向对象多线程爬虫爬取搜狐页面的实例代码
09-20
主要介绍了python面向对象多线程爬虫爬取搜狐页面的实例代码,需要的朋友可以参考下
【每日爬虫】：生产者与消费者模式爬取王者荣耀壁纸
12-21
生产者和消费者彼此之间不直接通讯，而是通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不直接找生产者要数据，而是从阻塞队列里取，阻塞队列就相当于一
【源代码】Pythone+PyQt5+爬虫+多线程 : 豆瓣陶书工具(GUI)
05-16
通过PyQt5，爬虫，多线程实现“根据豆瓣评分和人数挑选豆瓣所有类书籍”：成品请看blog：
Java+爬虫+爬取图片+完整案例+源码
06-17
使用Java语言实现爬虫，用来爬取某个网站上的图片 Httpclient负责发送请求 Jsoup负责解析 完整案例 可直接运行 有爬虫思路解析图
python爬虫面向对象_Python爬虫技术--基础篇--面向对象编程（上）
weixin_32848231的博客
02-04 327
面向对象编程概述面向对象编程——Object Oriented Programming，简称OOP，是一种程序设计思想。OOP把对象作为程序的基本单元，一个对象包含了数据和操作数据的函数。面向过程的程序设计把计算机程序视为一系列的命令集合，即一组函数的顺序执行。为了简化程序设计，面向过程把函数继续切分为子函数，即把大块函数通过切割成小块函数来降低系统的复杂度。而面向对象的程序设计把计算机程序视为一...
python采用面向对象编程模式吗_Python面向对象高级编程1
weixin_39568232的博客
11-23 99
@[toc]1.使用slots1.1动态绑定class的属性正常情况下，当我们定义了一个class，创建了一个class的实例后，我们可以给该实例绑定任何属性和方法，这就是动态语言的灵活性。先定义class：class Student(object):pass然后，尝试给实例绑定一个属性：>>> s = Student()>>> s.name = 'Michael' # 动态给实例绑定一个属性>>...
Python 学习：Python 封装实例1
sinat_37960022的博客
11-30 228
class Houseitem: def __init__(self,name,area): self.name=name self.area=area def __str__(self): return "[%s]占地%.2f"%(self.name,self.area) class house: def __init__(self,house_type,area): self.house_type=house_t
面向对象单线程百科爬虫
qwer12347070的博客
01-03 341
爬虫简介 简单爬虫框架，程序入口 url管理器 网页下载器 网页解析器 网页输出保存 爬虫编程的意义：爬取天下数据，为我所用 爬虫禁忌：爬亦有道，同一网站只开启一线程，抓取时间间隔 10*t的抓取间隔（t是download时间）比较合理。本例采用python内存法，存储临时数据 set（）集合目标是爬取百科中 python 页面的所有链接的内容目录结构： └─craw_spider
[网络安全学习篇37]：基于面向对象思想的Python爬虫实例
安全知识学习-该平台为唯一原作者平台，其他平台属冒名顶替，请勿相信上当受骗
04-18 1729
目录 python爬虫 正则表达式： 单个字符匹配 匹配一组字符串 实例： python爬虫 通过前面所学的内容，我们做一个使用Python来获取网页的信息的实验 1、如何使python获取网页的所有html代码 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/201001...
如何mysql数据导入到mongdb
最新发布
codemami的博客
05-30 1158
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
Pandas03
Bianca427的博客
05-27 1541
聚合计算时新增一列计算最大值与平均值的差值df.groupby('district').agg(最低工资=('salary', 'min'), 最高工资=('salary', 'max'), 平均工资=('salary', 'mean'), 最大值与均值差值=('salary', myfunc)).rename_axis(["行政区"])
python多进程+多线程爬虫
10-15
Python多进程多线程爬虫是指在进行网络爬虫任务时，利用Python语言的多进程和多线程技术来提高爬取效率。 多进程爬虫指的是利用Python的multiprocessing模块，将爬取任务分配给多个进程同时进行。每个进程独立运行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值