467python教程_【python】王者荣耀全英雄高清壁纸爬虫共467M（多线程）

最新推荐文章于 2023-05-04 12:22:22 发布

weixin_32541333

最新推荐文章于 2023-05-04 12:22:22 发布

阅读量164

点赞数

文章标签： 467python教程

本文链接：https://blog.csdn.net/weixin_32541333/article/details/113352315

版权

1. 成果展示

2. 单张预览

3. 软件下载

win32、mac和linux用户请自行通过源码打包。

4. 壁纸下载

5. 进度打印

壁纸分辨率及序号如下:

1 > 缩略图

2 > 1024x768

3 > 1280x720

4 > 1280x1024

5 > 1440x900

6 > 1920x1080 (推荐)

7 > 1920x1200

8 > 1920x1440

请选择分辨率 (默认是6):

457/457 |████████████████████| 任务进度: 100% 已用时间: 89S 剩余时间: 0S

请按任意键继续. . .

6. 目标网址

7. 依赖模块

pip install requests

8. 完整代码

# run.py

import re, os, time, json, requests

from urllib.parse import unquote

import concurrent.futures as cf

class WangzheDownloader(object):

# 初始化

def __init__(self):

self.root = './heros/'

if not os.path.exists(self.root):

os.mkdir(self.root)

self.numberSize = 6

self.url = 'https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page={}&iOrder=0&SearchKey=sProdName&iSortNumClose=1&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1607443031450'

res = requests.get(self.url.format(0)).json()

self.totalPage = int(res.get('iTotalPages'))

self.sum = int(res.get('iTotalLines'))

self.count = 0

self.startTime = time.time()

# 选择壁纸分辨率

def size(self):

print('壁纸分辨率及序号如下: ')

size_list = [

'1 > 缩略图',

'2 > 1024x768',

'3 > 1280x720',

'4 > 1280x1024',

'5 > 1440x900',

'6 > 1920x1080 (推荐)',

'7 > 1920x1200',

'8 > 1920x1440'

]

for size in size_list:

print(size)

numberSize = input('请选择分辨率 (默认是6): ')

self.numberSize = numberSize if numberSize else 6

# 获取103位英雄的名字

def name(self):

url = 'https://pvp.qq.com/web201605/js/herolist.json'

res = requests.get(url).json()

self.hero = [item['cname'] for item in res]

# 单张图片下载

def down(self, img_name, img_url):

res = requests.get(img_url)

with open(img_name, 'wb') as f:

f.write(res.content)

self.count += 1

endTime = time.time()

self.show(self.count, self.sum, endTime-self.startTime)

# 爬取每一页

def page(self, numberPage):

res = requests.get(self.url.format(numberPage)).json()

for item in res.get('List'):

# 去除图片名中的特殊字符

img_name = re.sub('[/\\:*?"<>|]', '', unquote(item['sProdName']))

# 根据英雄名建立分类文件夹

temp = re.split('[·-]', img_name)

control = True

for each in temp:

if each in self.hero:

control = False

img_dir = self.root+each

if not os.path.exists(img_dir):

os.mkdir(img_dir)

img_name = img_dir+'/'+img_name+'.jpg'

break

if control:

img_dir = self.root+'其它'

if not os.path.exists(img_dir):

os.mkdir(img_dir)

img_name = img_dir+'/'+img_name+'.jpg'

img_url = unquote(item[f'sProdImgNo_{self.numberSize}'])

img_url = img_url.replace('/200', '/0') # /0才是原图，/200都是缩略图

self.down(img_name, img_url)

# 打印进度条

def show(self, num, _sum, runTime):

barLen = 20 # 进度条的长度

perFin = num/_sum

numFin = round(barLen*perFin)

numNon = barLen-numFin

leftTime = (1-perFin)*(runTime/perFin)

print(

f"{num:0>{len(str(_sum))}}/{_sum}",

f"|{'█'*numFin}{' '*numNon}|",

f"任务进度: {perFin*100:.0f}%",

f"已用时间: {runTime:.0f}S",

f"剩余时间: {leftTime:.0f}S",

end='\r'

)

if num == _sum:

print()

# 多线程

def main(self):

self.size()

self.name()

with cf.ThreadPoolExecutor() as tp:

for page in range(self.totalPage):

tp.submit(self.page, page)

if __name__ == "__main__":

WangzheDownloader().main()

9. 代码剖析

打开目标网址，通过F12检查发现，有现有的API接口可供调用：

API接口里面存的就是壁纸的下载直链，也提供了图片总张数和总页数的信息：

既然有接口，我们就直接请求接口了，请求url如下：

https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page=0&iOrder=0&SearchKey=sProdName&iSortNumClose=1&jsoncallback=jQuery17107126052728750412_1607442410515&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1607443031450

jsoncallback=jQuery17107126052728750412_1607442410515这个参数不要，不然返回的是带前缀和后缀的jsonp数据，会影响解析。

API接口返回的json数据中，List存的是图片列表，列表长度就是请求参数中的iListNum的值，默认是20，也就是每页返回20张壁纸。

每张壁纸又有8个url，从sProdImgNo_1到sProdImgNo_8，对应于8种分辨率：