python多线程爬取王者荣耀高清壁纸过程

原创 已于 2023-01-03 14:05:41 修改 · 3.8w 阅读 · 145 ·
CC 4.0 BY-SA版权
yma16
文章标签：

#python #王者荣耀 #爬虫

于 2021-04-10 19:36:44 首次发布
本文介绍了一种通过Python爬虫技术获取王者荣耀高清壁纸的方法。详细展示了如何解析网页、处理JSON数据、多线程下载等技术细节。

多线程与爬虫

目标url

查看http://pvp.qq.com/web201605/wallpaper.shtml
有一个需要注意的就是图片url在html源码中找不到，直接被js渲染了，可以仔细查找访问服务器的url
在这里插入图片描述
查看html源码找不到该链接
在这里插入图片描述

json中查找url

在一个woKList中

在这里插入图片描述
使用csdn的json插件打开，查看链接

在这里插入图片描述
这些链接明显不正常需要处理
引用urllib库的parse
按照标准， URL 只允许一部分 ASCII 字符（数字字母和部分符号），其他的字符（如汉字）是不符合 URL 标准的
unqutote进行编码

在这里插入图片描述
可以访问，明显看出这分辨率不是高清壁纸

在这里插入图片描述
对比高清壁纸
在这里插入图片描述

对比高清壁纸：
python获取的url

http://shp.qpic.cn/ishow/2735040716/1617785834_84828260_32746_sProdImgNo_8.jpg/200

高清图的url

http://shp.qpic.cn/ishow/2735040716/1617785834_84828260_32746_sProdImgNo_8.jpg/0

url结尾的数字是0，处理一下url就可以啦！

访问url

查看RequestURL
在这里插入图片描述
添加ua
在这里插入图片描述

import requests
from  urllib import parse
from lxml import etree
import xlwt


def requests_get(url):#访问url
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
        "Referer":"http://pvp.qq.com/web201605/wallpaper.shtml",
        "Host": "apps.game.qq.com",
    #     "Cookie": '***'
    #
    }
    htmlText=''
    try:
        resp = requests.get(url, headers=headers)
        htmlText = resp.text  # 返回的不是html
    except Exception as e:
        print(e)
    return htmlText

def deal_url(text):#url进行编码
    return parse.unquote(text)
if __name__=='__main__':
    url='http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&page=0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17107221495925873804_1618046009669&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    print(requests_get(url))

查看打印的内容，ok呼应上了但是，但是数据在jquery中 在这里插入图片描述
去掉url中jsoncallback=jQuery

  • 原始
    url=‘http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&page=0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17107221495925873804_1618046009669&iAMSActivityId=51991&everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&=1618046009859’
  • 去掉之后
    url=‘http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&page=0&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&=1618046009859’
    返回json的格式在这里插入图片描述

读取json

查看json的list数组

List数组

  • sProdImgNo_[1-8] 对应8张不同分辨率的图片
  • sProdName 图片名字

在这里插入图片描述
在这里插入图片描述
初步获取图片的名字和8张分辨率不同的图片

import requests
from  urllib import parse
from lxml import etree
import xlwt


def requests_get(url):#访问url
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
        "Referer":"http://pvp.qq.com/web201605/wallpaper.shtml",
        "Host": "apps.game.qq.com",
        "Cookie": '***'

    }
    htmlText=''
    try:
        resp = requests.get(url, headers=headers)
        json_url=resp.json() #返回json
        datas=json_url['List']
        for d in datas:
            img_data=img_url(d)
            img_name=parse.unquote(d['sProdName'])
            print('-'*30)
            print(img_name)
            print(img_data)
            print('-' * 30)
    except Exception as e:
        print(e)
    return htmlText

def img_url(data):#url进行编码
    img_data=[]
    for x in range(1,9):#获取8张分辨率不同的图片
        img_url=parse.unquote(data['sProdImgNo_%d'%x].replace('200','0'))#替换为高清的url
        img_data.append(img_url)
    return img_data

if __name__=='__main__':
    url = 'http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=4&totalpage=0&page=0&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    print(requests_get(url))

在这里插入图片描述

全部图片

只是获取4个英雄的图片
在这里插入图片描述
修改iListNum=20获取20个英雄的
修改page实现翻页

url='''http://apps.game.qq.com/cgi-
bin/ams/module/ishow/V1.0/query/workList_inc.cgi?
activityId=2735&sVerifyCode=ABCD&sDataType=JSON
&iListNum=4
&totalpage=0
&page=0
&iOrder=0
&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'''

粗暴的单线程获取

import requests
from  urllib import parse,request
import os
def requests_get(url):#访问url
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
        "Referer":"http://pvp.qq.com/web201605/wallpaper.shtml",
        "Host": "apps.game.qq.com",
        "Cookie": '***'
    }
    try:
        resp = requests.get(url, headers=headers)
        json_url=resp.json() #返回json
        datas=json_url['List']
        for d in datas:
            img_data=img_url(d)
            img_name=parse.unquote(d['sProdName']).replace("1:1",'').strip()
            dirpath = os.path.join('images',img_name)
            if not os.path.exists(dirpath):
                os.mkdir(dirpath)  # 创建目录
            for index,image_url in enumerate(img_data):#枚举
                request.urlretrieve(image_url,os.path.join(dirpath,'%d.jpg'%(index+1)))
                print('%s下载完成'%(image_url))
    except Exception as e:
        print(e)
    return True

def img_url(data):#url进行编码
    img_data=[]
    for x in range(1,9):#获取8张分辨率不同的图片
        img_url=parse.unquote(data['sProdImgNo_%d'%x].replace('200','0'))#替换为高清的url
        img_data.append(img_url)
    return img_data

if __name__=='__main__':
    url = 'http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=40&totalpage=0&page={page}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    for i in range(1,18):
        url=url.format(page=i)#替换页码
        requests_get(url)

多线程执行

模拟生产者消费者

import requests
from  urllib import parse,request
import os
import threading
from queue import Queue

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
    "Referer": "http://pvp.qq.com/web201605/wallpaper.shtml",
    "Host": "apps.game.qq.com",
    "Cookie": '***'

}
class Producer(threading.Thread):
    def __init__(self,page_que,img_que,*arges,**kwargs):
        threading.Thread.__init__(self)#重写
        self.page_que=page_que
        self.img_que=img_que
    def run(self)->None:
        while not self.page_que.empty():
            page_url=self.page_que.get()
            try:
                resp = requests.get(page_url, headers=headers)
                json_url = resp.json()  # 返回json
                datas = json_url['List']
                for d in datas:
                    img_data = img_url(d)
                    img_name = parse.unquote(d['sProdName']).replace("1:1", '').strip()
                    dirpath = os.path.join('images', img_name)
                    if not os.path.exists(dirpath):
                        os.mkdir(dirpath)  # 创建目录
                    for index, image_url in enumerate(img_data):  # 枚举
                        self.img_que.put({'image_url':image_url,'img_path':os.path.join(dirpath, '%d.jpg' % (index + 1))})#图片路径加入队列
            except Exception as e:
                print(e)
            #执行某一页的获取url
            #下载

class Consumer(threading.Thread):#下载图片
    def __init__(self,img_que,*arges,**kwargs):
        threading.Thread.__init__(self)
        self.img_que=img_que
    def run(self)->None:
        while True:
            try:
                img_obj = self.img_que.get(timeout=8)
                img_url = img_obj.get('image_url')
                img_path = img_obj.get('img_path')
                try:
                    request.urlretrieve(img_url, img_path)
                    print('%s下载完成' % (img_path))
                except:
                    print('%s下载失败' % (img_path))
            except:
                break

def img_url(data):#url进行编码
    img_data=[]
    for x in range(1,9):#获取8张分辨率不同的图片
        img_url=parse.unquote(data['sProdImgNo_%d'%x].replace('200','0'))#替换为高清的url
        img_data.append(img_url)
    return img_data

if __name__=='__main__':
    url = 'http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=40&totalpage=0&page={page}&iOrder=0&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=1&iFlowId=267733&iActId=2735&iModuleId=2735&_=1618046009859'
    page_queue=Queue(18)# 18页
    img_queue=Queue(1000)#
    for i in range(1,18):
        url=url.format(page=i)#替换页码
        page_queue.put(url)#页面url提取
    for i in range(3):
        th1=Producer(page_queue,img_queue,name='生产者%s号'%i)
        th1.start()
    for i in range(5):
        th1=Consumer(img_queue,name='消费者%s号'%i)
        th1.start()

在这里插入图片描述
抓取成功！
在这里插入图片描述

多线程爬取王者荣耀皮肤壁纸
都不是宝贝
07-09 623
今天写了个小demo，多线程爬取王者荣耀全皮肤，话不多说，直入主题。 https://pvp.qq.com/web201605/herolist.shtml这个是玩王者荣耀官网上的英雄列表，这个时候一共是100个英雄整。小生这边先是用xpath获取所有<li>标签，再获取里边<a>标签的href属性，可是最后只能收集到93个英雄，不全，于是重新试了一个方法，可以获取全部100个英雄了。 一 观察站点，找方法 因为不直接使用xpath获取，所以小生这边观察了一下各个英雄页面的url，很
多线程下载王者荣耀高清壁纸（过程超详细）
liumengqi11的博客
01-12 1515
文章分为单线程和多线程两个部分，选择单线程一个一个下载速度会很慢，多线程下载可以明显提升速度。但先用单线程写出代码，再在此基础上改动成多线程，思路会更加清晰，对初学者也更加友好！ 单线程下载王者荣耀壁纸 对界面的了解 进入王者荣耀官网https://pvp.qq.com/在游戏资料下点击游戏壁纸进入壁纸界面 下滑观察一共有页24页 右键检查发现图片都在<div id =“Work_List_Container_267733”中，下面的每一个<div class="class="p_newher
王者荣耀网站源码111
06-06
（html+css）静态网页
python爬虫--王者荣耀高清壁纸下载
weixin_45067618的博客
04-27 666
下面用的是普通的下载，因为图片过多，所以下载的速度可能会慢一点。 # 1、通过https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalp...
Python多线程爬虫之二：爬取王者荣耀高清壁纸（多线程）
qq_35092730的博客
02-21 2436
一、项目分析 1、查询爬取网址 robots 权限 1、王者荣耀官网：https://pvp.qq.com/ 2、访问王者荣耀官网 rbots 权限： https://pvp.qq.com/robots.txt，确定此网站没有设置 robots 权限，即证明此网站数据可以爬取。 2、查询主页和详情页面的关系 高清壁纸页面 url ：https://pvp.qq.com/web201605/wallpaper.shtml 3、查看当前网页源代码 4、查询需要爬取的 HTML 结构对应的 js 请求 1、查
python--多线程爬取王者荣耀高清壁纸
pinuscembra的博客
01-05 664
多线程爬取王者荣耀高清壁纸 import threading import requests import random from urllib import request from urllib import parse import os import queue import threading import requests import random from urllib import request from urllib import parse import os import queu
爬虫 | 王者荣耀高清壁纸-多线程
CY3761的博客
12-16 675
# CY3761 | 2021-11-04 18:23 import json import os import queue import time import urllib import requests from urllib import parse import threading from queue import Queue # 王者荣耀-官网 https://pvp.qq.com # 王者荣耀-高清壁纸 https://pvp.qq.com/web201605/wallpaper.s
多线程爬取王者荣耀壁纸
09-18
在IT领域，多线程爬取是网络爬虫技术中常用的一种策略，特别是在处理大量数据时，如本项目“多线程爬取王者荣耀壁纸”。这个程序利用多线程和队列来提高爬取效率，使得从网站上批量下载壁纸变得更加高效。下面将详细...
使用 python 多线程爬取王者荣耀的壁纸并使用 csv 下载写入到文件里，不使用os模块和Beautiful模块，使用xpath模块
最新发布
11-08
在Python中使用多线程爬取王者荣耀的壁纸并将其保存为CSV文件，可以按照以下步骤操作，这里假设你已经安装了`requests`, `lxml` (包含`etree`用于XPath解析) 和 `csv` 这些基础库： 1. 导入所需的库： ```python ...
Python爬虫进阶（五）——爬虫之多线程爬虫实战（爬取王者荣耀皮肤）
brilliant666的博客
08-21 870
这一章，咱们通过实战来运用多线程爬虫，就来爬取目前最火的王者荣耀游戏的皮肤。
【每日爬虫】：生产者与消费者模式爬取王者荣耀壁纸
12-21
在本文中，我们将深入探讨这一模式，并结合爬虫技术，以爬取王者荣耀壁纸为例，阐述其在实际应用中的具体实现。 首先，理解生产者和消费者的基本概念。在并发环境中，生产者是创建或生成数据的线程，而消费者则是...
Python零基础之爬取王者荣耀官方网站高清壁纸(普通版)
kingx3的博客
08-16 3030
Python零基础之爬取王者荣耀官方网站高清壁纸目标:分析过程:1. 确定目标url2. 解决url解析问题3. 图片下载解析4. 多页面的处理代码示例需要注意的问题： 目标: 1.下载王者荣耀网站游戏壁纸的高清壁纸 2.把同一个名称的壁纸放到同一个文件夹 分析过程: 1. 确定目标url 访问https://pvp.qq.com/web201605/wallpaper.shtml 发现图片地址并不在网页html源码中,检查浏览器,分析network。发现目标url有可能是： https://
Python爬虫之王者荣耀高清壁纸下载实战
12-02
在日常工作和生活中，有非常多的场景需要下载图片，如何快速、完整的下载图片就是其中的一个关键了。利用Python中的多线程和爬虫技术，我们可以非常方便的实现这个需求，本课以多线程下载高清王者荣耀壁纸为例，让大家学会图片下载的技巧和爬虫实现思路。
编写爬虫自动下载王者荣耀官网上好看的壁纸
weixin_30951743的博客
12-21 327
前言 偶然间发现王者荣耀的官网上发布了这么多好看的壁纸。 地址:http://pvp.qq.com/web201605/wallpaper.shtml 看了一下，每一张都挺喜欢的，而且还有十多页，一张一张去慢慢下载肯定不是作为一个Geeker的正确姿势。 由于最近python用得比较多，所以看到什么好玩的就想爬虫下载下来，所以看到这么多好看图片，我又“熟练”地掏出了python。 分析 ...
如何爬取王者荣耀高清壁纸（详细分析教程）
qq_40981137的博客
04-12 8443
1、准备工作 Python 3.7 Python安装有requests模块 王者荣耀官网地址：https://pvp.qq.com/web201605/wallpaper.shtml### 2、网站分析 由于现在的电脑分辨率基本都是1920x1080，所以这里以此分辨率作为例子 2.1、首先我们分析同一图片，不同分辨率的图片，我们对比他们的...
Python爬取王者荣耀全套皮肤
涛哥聊Python
09-27 566
点击上方蓝色小字，关注“涛哥聊Python”重磅干货，第一时间送达来源：http://suo.im/6pj3Zp一、分析需要爬取的网站①、打开官方王者荣耀壁纸网站网站地址：https:/...
Python爬虫案例—爬取王者荣耀皮肤图
rallan963的博客
06-24 485
爬虫 初学者必看
王者荣耀五周年，带你入门Python爬虫基础操作(102个英雄+326款皮肤)
可以叫我才哥
10-29 1451
简单的目录1.概述2.网页分析2.1.html页面源数据2.2.json源数据3.数据请求4.数据解析4.1.html数据解析4.1.1.bs44.1.2.xpath4.2.json数据解析5.数据保存5.1.存储图片类数据5.2.文本数据表单存储6.你也来玩一玩 1.概述 《王者荣耀》上线至今5个年头了，作为这些年国内最热门的手游（没有之一），除了带来游戏娱乐之外，我们在这五周年之际，试着从他们的官网找点乐趣，学习一下Python爬虫的一些简单基础操作。 本篇将主要介绍简单的Python爬虫，包括网页分析
Python爬取王者荣耀英雄的皮肤数据并下载皮肤图片项目
weixin_44035930的博客
05-14 1949
Python爬取王者荣耀英雄的皮肤数据 网址：https://pvp.qq.com/web201605/herolist.shtml 1.获得英雄信息，并保存为json文件 1.1 使用requests爬取信息，requests模块爬取的是Network/Response下的静态数据。 首先获取网页的数据（有如下1.1和1.2两种方式），在此之前先了解xpath的使用：xpath是使用节点路径表达式来选取XML或HTML文档中的节点或节点集。常见的路径表达式如下 路径表达式 含义 / 从根节
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yma16

感谢支持！共勉！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值