Python爬虫进阶(五)——爬虫之多线程爬虫实战(爬取王者荣耀皮肤)

python 同时被 2 个专栏收录
26 篇文章 3 订阅
19 篇文章 1 订阅

这一章,咱们通过实战来运用多线程爬虫,就来爬取目前最火的王者荣耀游戏的皮肤。看看跟普通爬虫方式相比,会不会更快捷。

关于普通方式爬取,大家可以看看这篇文章:Python爬虫实战之 爬取王者荣耀皮肤

第一步,定义生产者
第二步,定义消费者
第三步,定义主线程函数

生产者和消费者的概念,咱们在之前就已经讨论过,这里生产者就是生产图片名称及url消费者就是通过生产者生产的名字、url来保存图片文件,这就是整个多线程爬虫的思路

第一步,定义生产者

1.先导入几个模块、参数:

import requests
from urllib import parse
import os
from urllib import request
import threading
import queue

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36','referer':'https://pvp.qq.com/web201605/wallpaper.shtml'
}

2.通过定义类、继承参数、run方法来定义生产者

super() 能动态拿到父类的初始化属性,继承于父类,而父类要加上不定常参数(位置参数和关键字参数),之后就能初始化要用到的参数:

class Producer(threading.Thread):

    def __init__(self,page_queue,image_queue,*args,**kwargs):
        super(Producer,self).__init__(*args,**kwargs)
        self.page_queue = page_queue         # 多页队列
        self.image_queue = image_queue       # 图片队列

    def run(self) -> None:
    
		# 当队列不为空的时候才能从中取值
        while not self.page_queue.empty():     

            page_url = self.page_queue.get()   # 取出页队列的值(url)

            resp = requests.get(page_url, headers=headers)

            result = resp.json()
            datas = result['List']
            for data in datas:
            	# 遍历url、解码、替换,得到正确图片url
                image_urls = [parse.unquote(data['sProdImgNo_{}'.format(i)]).replace('200','0') for i in range(1,9)]
                
                # 获取图片名
                name = parse.unquote(data['sProdName'])
                dir_path = os.path.join('image', name)

                # 没有文件夹我才去创建
                if not os.path.exists(dir_path):
                    os.mkdir(dir_path)

                # 把图片的url放到队列当中
                for index,image_url in enumerate(image_urls):
                    self.image_queue.put({'image_url':image_url,'image_path':os.path.join(dir_path,'%d.jpg'%(index+1))})

第二步,定义消费者

消费者的逻辑是获取数据,下载图片:

class Consumer(threading.Thread):

    def __init__(self, image_queue, *args, **kwargs):
        super(Consumer, self).__init__(*args, **kwargs)
        self.image_queue = image_queue       # 图片队列

    def run(self) -> None:

        while True:
            # 获取图片的url和下载路径(下完就自动完成)
            try:
                image_obj = self.image_queue.get(timeout=10)
                image_url = image_obj.get('image_url')
                image_path = image_obj.get('image_path')

                try:
                    # 下载图片(在下一级)
                    request.urlretrieve(image_url,image_path)

                    print(image_path,'下载成功!')
                except:

                    print(image_path+'下载完毕!')
            except:
                break

第三步,定义主线程函数

def main():

    # 创建页数的队列
    page_queue = queue.Queue(18)
    # 创建图片的队列
    image_queue = queue.Queue(1000)

    # 第一页到第十页
    for x in range(0,11):
        page_url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={page}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1597938787974'.format(page=x)

        # 把页数的url添加到页数的队列当中
        page_queue.put(page_url)

    # 定义3个生产者线程
    for x in range(3):
        p = Producer(page_queue,image_queue)
        p.start()

    # 定义5个消费者线程
    for x in range(5):
        c = Consumer(image_queue)
        c.start()


if __name__ == '__main__':

    main()

执行整个代码,会发现报了一个错:
在这里插入图片描述
针对这个问题,只需把获取图片名这里的代码修改即可

name = parse.unquote(data['sProdName']).replace('1:1','').strip()

先把1:1替换为空格,后面的strip()表示:如果strip()的参数为空,那么会默认删除字符串头和尾的空白字符,即把前面的空格删除了。

再次执行整个代码,结果如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

可以看到,下载速度比起普通爬取,更加快捷了!

至此,多线程爬虫来爬取王者荣耀皮肤,到这里就介绍完毕了,感兴趣的小伙伴可以来试一试😃
 
 
 
实战部分
第一篇:Python爬虫实战之 爬取全国理工类大学数量+数据可视化
第二篇:Python爬虫实战之 爬取王者荣耀皮肤

爬虫基础部分
第一篇:Python的要点(搭建环境、安装配置、第三方库导入方法详细过程)
第二篇:Python爬虫初探(一)——了解爬虫
第三篇:Python爬虫初探(二)——爬虫的请求模块
第四篇:Python爬虫初探(三)——爬虫之正则表达式介绍
第五篇:Python爬虫初探(四)——爬虫之正则表达式实战(爬取图片)
第六篇:Python爬虫初探(五)——爬虫之xpath与lxml库的使用
第七篇:Python爬虫初探(六)——爬虫之xpath实战(爬取高考分数线信息)
第八篇:Python爬虫初探(七)——爬虫之Beautifulsoup4介绍(Ⅰ)
第九篇:Python爬虫初探(八)——爬虫之Beautifulsoup4介绍(Ⅱ)
第十篇:Python爬虫初探(九)——爬虫之Beautifulsoup4实战(爬取豆瓣信息)
第十一篇:Python爬虫初探(十)——爬虫总结

爬虫进阶部分
第一篇:Python爬虫进阶(一)——爬虫之动态数据与selenium
第二篇:Python爬虫进阶(二)——爬虫之多任务模块(Ⅰ)
第三篇:Python爬虫进阶(三)——爬虫之多任务模块(Ⅱ)
第四篇:Python爬虫进阶(四)——爬虫之多任务模块(Ⅲ)

  • 0
    点赞
  • 0
    评论
  • 5
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页

打赏作者

brilliant666

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值