爬取王者荣耀官网英雄壁纸和英雄皮肤壁纸
准备爬的页面:
https://pvp.qq.com/web201605/herolist.shtml
利用requests库和os库大概20行代码不到就能把页面上的壁纸给爬取下来。
实现代码:
import os
import requests
#获取所有英雄列表json文件
url = 'https://pvp.qq.com/web201605/js/herolist.json'
herolist = requests.get(url) # 获取英雄列表json文件
herolist_json = herolist.json() # 转化为json格式
hero_name = list(map(lambda x: x['cname'], herolist.json())) # 提取英雄的名字
hero_number = list(map(lambda x: x['ename'], herolist.json())) # 提取英雄的编号
# 下载壁纸图片
def downloadHeroPic():
i = 0
for j in hero_number:
# 创建文件夹
os.mkdir("E:\\tomcat\\crawler\\result\\" + hero_name[i])
# 进入创建好的文件夹
os.chdir("E:\\tomcat\\crawler\\result\\" + hero_name[i])
i += 1
#一般英雄皮肤数小于10,我们这里用10来遍历,如果存在就保存到本地
for k in range(10):
# 拼接url
onehero_link = 'http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/' + str(j) + '/' + str(j) + '-bigskin-' + str(k) + '.jpg'
im = requests.get(onehero_link) # 请求url
if im.status_code == 200:
open(str(k) + '.jpg', 'wb').write(im.content) # 写入文件
downloadHeroPic()
运行一分钟,所有英雄的皮肤图片就保存到我们本地的磁盘上了。