Python爬虫基础--爬取王者荣耀英雄皮肤图片

最新推荐文章于 2024-04-12 01:19:47 发布
最新推荐文章于 2024-04-12 01:19:47 发布
阅读量4.8k 收藏 15
点赞数 2
分类专栏： Python GitHub 文章标签： python python爬虫 json 王者荣耀
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41287260/article/details/100883493
版权
Python 同时被 3 个专栏收录
47 篇文章 14 订阅
订阅专栏
GitHub
36 篇文章 4 订阅
订阅专栏
Python爬虫
6 篇文章 0 订阅
订阅专栏

文章目录

这里只是简单介绍主要内容，详见github，仓库地址：hero-skin-images，下面是仓库页面截图，点击图片可直接跳转到仓库。
仓库截图

思路分析

这个项目还是比较简单的，因为很多数据都已经json数据中，我们可以很方便的从中取出我们想要的数据。至于下载皮肤图片的主要难点是拼接图片URL，这里有个小坑就是：每张图片都有5种（或者说至少是5种）尺寸的图片，我之前就只发现了其中一种，当然你可以有选择的进行下载；尺寸详见：皮肤图片尺寸分析。

涉及到的知识点

  • 使用requests库进行网络连接，获取网址数据。

  • 使用json库解析json文件（数据）。

  • 使用os库创建文件夹。

  • 字符串拼接。

Json数据说明

我已经将可能有用的json文件都下载了，并且进行了格式化（转换编码为utf8）,放在了./wzry/json数据/文件夹下。或者你可以到下面提到的链接中取下载对应的文件（访问json文件URL会自动下载）。

英雄列表介绍主页：https://pvp.qq.com/web201605/herolist.shtml，有herolist.json。

herolist.json：英雄列表

  1. 说明：包含英雄id，英雄名，英雄默认皮肤（伴生皮肤：即不用花钱的），英雄类型，英雄皮肤（特指需要花钱买的皮肤，也有可能会在一些活动中会送。注意：skin_name 这个属性不一定有，比如新英雄可能就没有）。
  2. 数据URL : https://pvp.qq.com/web201605/js/herolist.json
  3. 举例（部分内容）：
[
   {
        "ename": 522,
        "cname": "曜",
        "title": "星辰之子",
        "new_type": 0,
        "hero_type": 1,
        "skin_name": "归虚梦演"
    },
    {
        "ename": 518,
        "cname": "马超",
        "title": "冷晖之枪",
        "new_type": 1,
        "hero_type": 1,
        "hero_type2": 4
    }
]
  1. 存在问题并已经进行处理，详见：存在问题及解决方案。

皮肤图片尺寸分析

英雄皮肤图片信息只涉及到 herolist.json 数据，目前发现图片有5种尺寸，注意：下面的图片大小只是对应英雄的图片尺寸，猜测不是固定的，而是在一定范围内变化。


下面以英雄马超为例，英雄首页：https://pvp.qq.com/web201605/herodetail/518.shtml

形式一URL–猜测用于手机端显示猜测用途图片尺寸
https://game.gtimg.cn/images/yxzj/img201606/heroimg/518/518-smallskin-1.jpg英雄头像67*67
https://game.gtimg.cn/images/yxzj/img201606/heroimg/518/518-mobileskin-1.jpg小屏手机英雄背景600*410
https://game.gtimg.cn/images/yxzj/img201606/heroimg/518/518-bigskin-1.jpg大屏手机英雄背景1200*530
形式二URL–猜测是壁纸猜测用途图片尺寸
https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/518/518-mobileskin-1.jpg手机壁纸727*1071
https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/518/518-bigskin-1.jpg电脑壁纸1920*882

程序说明

  1. 测试环境：Python3.7.1，JetBrains PyCharm Community Edition 2018.2.4 x64。

  2. 依赖：requests，json，如果没有安装requests，用 pip install requests 进行安装即可(json为内置库)。

  3. 使用说明：主程序为：./wzry/wzry.py，运行该程序会将图片下载在当前目录的五个文件夹内，如./wzry/phone-bigskin-images/；如需下载全部英雄图片，请将程序中的 break语句 注释掉。

代码

# -*-coding:utf-8 -*-
"""
@author: yansheng
@file: wzry.py
@time: 2019/9/14
"""
# 爬取王者荣耀的英雄皮肤图片
import requests
import json
import os


def mkdirs(path):
    """
    辅助函数：创建文件夹
    :param path: 文件夹名
    :return:
    """
    # 去除首末的空格
    path = path.strip()
    # 去除尾部 \ 符号
    path = path.rstrip("\\")
    '''
    windows下文件名中不能含有：\ / : * ? " < > | 英文的这些字符 ，这里使用"'"、"-"进行替换。
    :?| 用-替换
    "<> 用'替换
    '''
    # 对于文件夹，有没有.好像都是同一个文件
    # replace方法默认替换所有匹配项
    path = path.replace(":", "-").replace("?", "-").replace("|", "-")
    path = path.replace("<", "'").replace(">", "'").replace("\"", "'")

    # 判断路径是否存在，存在True，不存在False
    is_exists = os.path.exists(path)
    # 判断结果
    if not is_exists:
        # 如果不存在则创建目录，这里使用创建多重目录的函数
        os.makedirs(path)
        print('文件夹\'' + path + '\'创建成功！')
        return True
    else:
        # 如果目录存在则不创建，并提示目录已存在
        print('文件夹\'' + path + '\'目录已存在！')
        return False


def downloadImages():
    """
    主要的函数：获取王者荣耀图片信息，下载图片
    """
    '''
    1.按照分析，创建对应文件夹
    1.1.https://game.gtimg.cn/images/yxzj/img201606/heroimg/518/518-smallskin-1.jpg
        phone-smallskin-images 头像
        phone-mobileskin-images 小屏手机图片
        phone-bigskin-images 大屏手机图片

    1.2.https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/518/518-mobileskin-1.jpg
       wallpaper-mobileskin-images 手机壁纸
       wallpaper-bigskin-images 电脑壁纸

    1.3. 观察url变化情况
    类型1：
    李白的第二个皮肤：https://game.gtimg.cn/images/yxzj/img201606/heroimg/131/131-bigskin-2.jpg
    孙悟空的第二个皮肤：https://game.gtimg.cn/images/yxzj/img201606/heroimg/167/167-bigskin-2.jpg
    
    类型2：
    https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/518/518-mobileskin-1.jpg
    
    不同之处：131/131-bigskin-2
    '''
    # 定义变量
    prefix_url1 = 'https://game.gtimg.cn/images/yxzj/img201606/heroimg/'
    prefix_url2 = 'https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/'
    suffix_url = '.jpg'
    smallskin = '-smallskin-'
    mobileskin = '-mobileskin-'
    bigskin = '-bigskin-'

    phone_smallskin_dirpath = 'phone-smallskin-images'
    phone_mobileskin_dirpath = 'phone-mobileskin-images'
    phone_bigskin_dirpath = 'phone-bigskin-images'
    wallpaper_mobileskin_dirpath = 'wallpaper-mobileskin-images'
    wallpaper_bigskin_dirpath = 'wallpaper-bigskin-images'
    # 创建目录
    mkdirs(phone_smallskin_dirpath)
    mkdirs(phone_mobileskin_dirpath)
    mkdirs(phone_bigskin_dirpath)
    mkdirs(wallpaper_mobileskin_dirpath)
    mkdirs(wallpaper_bigskin_dirpath)

    # 2.获取英雄列表的json数据
    json_url = 'https://pvp.qq.com/web201605/js/herolist.json'  # 英雄的列表信息
    r = requests.get(json_url).text  # json数据--字符串
    # print(r)
    result = json.loads(r)  # 把字符串转换成字典，这里是由88个字典组成的list
    print('王者荣耀的英雄个数：%d' % len(result))  # 王者荣耀的英雄个数：88

    # 循环读取json数据，获得英雄对应数据，拼接图片url，下载图片
    for i in result:
        id = i['ename']  # 英雄id
        cname = i['cname']  # 英雄名
        title = i['title']  # 默认皮肤，即第一个皮肤
        # 判断该英雄是否有skin_name属性（新英雄可能会没有），有就取值，没有就直接将列表置为空
        skin_name_lists = []
        if 'skin_name' in i.keys():
            skin_name = i['skin_name']  # 皮肤名
            skin_name_lists = skin_name.split('|')  # 把字符串变成列表，用|做分隔符
            # 记录英雄的title和skin_name的第一个属性不一样的英雄的id
            diff_ids = [109, 113, 176]
            if id in diff_ids:
                skins_lists = [title] + skin_name_lists[1:]
            else:
                skins_lists = [title] + skin_name_lists
        else:
            skins_lists = [title]
        # 将title 和skin_name_lists合并为列表，然后转为集合，自动去重,
        # 同时保证顺序不变，因为需要设置第一个为伴生皮肤
        skins_set_lists = list(set(skins_lists))
        skins_set_lists.sort(key=skins_lists.index)

        # 拼接网址
        for skin in skins_set_lists:
            # 获取下标，作为英雄皮肤数量
            index = skins_set_lists.index(skin) + 1
            # skin_name_lists.index(skin_name_list)为列表的下标
            # https://game.gtimg.cn/images/yxzj/img201606/heroimg/ + 105 + '/ '+ 105 + '-smallskin-' + 1 + '.jpg'
            # 类型1
            mid_url = '%d' % id + '/' + '%d' % id
            phone_smallskin_url = prefix_url1 + mid_url + smallskin + '%d' % index + suffix_url
            phone_mobileskin_url = prefix_url1 + mid_url + mobileskin + '%d' % index + suffix_url
            phone_bigskin_url = prefix_url1 + mid_url + bigskin + '%d' % index + suffix_url
            # 类型2
            wallpaper_mobileskin_url = prefix_url2 + mid_url + mobileskin + '%d' % index + suffix_url
            wallpaper_bigskin_url = prefix_url2 + mid_url + bigskin + '%d' % index + suffix_url

            # 为方便起见，将对于类型的图片的文件夹和图片url组成 一对字典：
            url_dict = {
                phone_smallskin_dirpath: phone_smallskin_url,
                phone_mobileskin_dirpath: phone_mobileskin_url,
                phone_bigskin_dirpath: phone_bigskin_url,
                wallpaper_mobileskin_dirpath: wallpaper_mobileskin_url,
                wallpaper_bigskin_dirpath: wallpaper_bigskin_url,
            }
            # 遍历字典，取出对应键值，键：图片保存的目录，值：图片网址
            for dirpath in url_dict:
                # 定义保存到本地的图片名称，如：廉颇-1-正义爆轰.jpg
                image_path = dirpath + '/%s-%d-%s.jpg' % (cname, index, skin)
                # print("图片文件名：" + image_path)
                # 将判断放到前面，进行优化
                # 判断文件（图片）是否存在，如果存在就不重复下载，不存在就下载
                if os.path.exists(image_path):
                    print(' ' + image_path + '图片已存在！')
                    continue

                # 获取图片的网址，如果返回状态码为200，下载图片
                img_url = url_dict[dirpath]
                if requests.get(img_url).status_code == 200:
                    print('图片地址：' + img_url)
                    img = requests.get(img_url)

                    # 以二进制形式写文件（下载图片）
                    with open(image_path, 'wb') as f:
                        f.write(img.content)  # 写入图片的二进制数据
                        print(' ' + image_path + '下载成功！')

        # 测试时，只下载一个英雄的皮肤图片；如需下载所有英雄的皮肤图片，请注释下面的break
        break


if __name__ == '__main__':
    downloadImages()
    print('\n**王者荣耀全部英雄皮肤图片已下载成功**')

结果(数据)分析

注：因为该程序是解析json文件获得对应英雄的信息，但是仔细观察后，发现该数据稍有滞后，有部分数据还未进行更新；故该数据非最新数据，仅供参考。（如需要获得最新数据就需要爬取网页元素进行分析，有兴趣者可自行扩展）

1.该文件夹包含了王者荣耀所有英雄的皮肤图片，有5种尺寸。

2.数据汇总（截止：2019年9月14日19:39:23）
英雄数量：95个
皮肤数量：338个（含伴生皮肤）

3.图片尺寸说明（图片尺寸和大小应该是在一定范围内变化，不是定值，以下数据仅供参考）：

文件夹每张图片尺寸（像素）图片大小（KB）说明（猜测）
phone-smallskin-images/67*6720英雄头像
phone-mobileskin-images/600*410200小屏手机英雄背景
phone-bigskin-images/1200*530450大屏手机英雄背景
wallpaper-mobileskin-images/727*1071530手机壁纸
wallpaper-bigskin-images/1920*882900电脑壁纸

4.文件夹大小

文件夹文件夹大小（MB）
phone-smallskin-images/2
phone-mobileskin-images/34.6
phone-bigskin-images/68
wallpaper-mobileskin-images/61
wallpaper-bigskin-images/105

我已将图片全部都下载了，并上传到百度云，有需要可自取。

百度云链接：

链接：https://pan.baidu.com/s/1uFGfSPuKBzYJjEjn6YCx-A
提取码：fd3t
或者扫描下面的二维码
王者荣耀英雄皮肤图片-fd3t

声明

本项目仅用于学习交流使用，禁止进行商业目的的开发、发布、运营等。数据所有权归 腾讯公司 所有。

秦时明月之君临天下
关注
  • 2
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python简单爬取王者荣耀全英雄皮肤图片
灬彬的博客
08-24 2万+
昨天在某公众号看见一篇关于用python爬王者荣耀中所有英雄的皮肤的文章， https://mp.weixin.qq.com/s/UgF5FYJ5dX1aNw6K0E_Jjw 感觉挺有趣的，下载来当壁纸也不错，就动手一波，环境用的是python3。过程中也遇到了一点问题，所以记录下来                     第一步首先打开  http://pvp.qq.com/web2...
Python爬虫——手把手教你爬取王者荣耀英雄皮肤
霖hero
09-02 3985
大家好！我是霖hero 大家知道目前最火的手游是哪个嘛，没错，就是王者荣耀，这款手游想必大家都听过或者玩过吧，里面有106个英雄，几百个英雄皮肤，今天我来手把手教你们把几百个皮肤都爬取下来。 Python基础 我们先来讲一些Python基础知识，一是待会可能会用到这些Python基础知识，方便Python基础差的同学更好地理解，二是为了巩固基础，我们一直学下去，一定要回头看一看，回顾回顾基础。 基础好的可以直接跳过这一节。 Python内置函数zip zip() 函数用于将可迭代的对象作为参数，
王者荣耀皮肤图片爬取
11-03
王者荣耀英雄皮肤图片爬取代码（适合人群：Python爬虫学习者）
Python爬取王者荣耀英雄皮肤高清图片
m0_60635035的博客
04-12 104
从上面的这张鲁班的图片中我们可以看到，通过F12定位到皮肤的小图片位置，li元素里有一个img的元素，其中img的src和data-imgname这两个属性，查看一下，就不难知道，src的属性值是小图，而data-imgname则是我们需要的大图URL，但是查看源码，就会发现，在html中，并没有这个属性，所以，需要我们分析这个URL的规律来得到其他英雄的皮肤图片，分析也不难发现，112就是英雄的id，而bigskin-2里面的2即表示这个英雄的第几张皮肤图片。第三步：循环遍历，分析每个英雄皮肤节点。
python3爬虫---抓取王者荣耀所有英雄皮肤原图
weixin_40995588的博客
06-14 2461
小项目:python3爬虫抓取王者荣耀所有英雄皮肤原图Python环境:python3.6.4author : Chris iven效果图:代码:class WZRY_Hero(object): Origin_url = "http://pvp.qq.com/web201605/" def __init__(self,url): self.url = u...
Python爬虫-单线程爬取王者荣耀壁纸
11-09
自身写的一些爬虫类的小功能。这里爬取王者荣耀官网中的英雄皮肤，可以用来当壁纸。
Python爬取王者荣耀英雄图片
12-22
Python爬取王者荣耀英雄图片 爬虫，下图片，很简单，直接上代码 import requests import os import json def get_hero_id(): idlist = [] namelist = [] try: response = json.loads(requests.get('...
Python爬虫爬取王者荣耀全皮肤.zip
12-23
Python爬虫源码大放送：抓取数据，轻松搞定！ 想轻松抓取网站数据，却苦于技术门槛太高？别担心，这些源码将助你轻松搞定数据抓取，让你成为网络世界的“数据侠盗”。 它们还具有超强的实用价值。无论你是想要分析...
王者荣耀皮肤图片爬虫_爬虫_python_王者荣耀_
10-01
实现王者荣耀官网英雄皮肤图片爬取，用于爬虫学习，不可商用
爬取王者荣耀中的英雄图片
最新发布
05-06
1、安装requests和bs pip install requests pip install bs4 pip install lxml 2、进入ipython进行相关...使用循环显示英雄的名子 for i in b.select('li>a>img'): ...: print(i['alt']) 4、总体脚本为：get_heros.py
网络爬虫技术获取王者荣耀英雄图片及英雄详情(java爬虫技术).md
01-26
利用java技术实现爬虫技术获取数据进行数据分析及为云计算或大数据，人工智能服务，实现了爬取图片资源关键字爬取，个人信息爬取
python爬取王者荣耀英雄图片
菜鸟猿小天
07-10 2693
1.分析王者荣耀网站    进入游戏资料里的英雄资料：        F12进入开发者模式，分析网站，知道网站是异步加载，通过herolist.json来存放所有英雄的信息。   2.贴代码：import requests import re import os url = 'http://pvp.qq.com/web201605/js/herolist.json' html = request...
教你用python爬取王者荣耀英雄皮肤图片，并将图片保存在各自英雄的文件夹中。（附源码）
wg2627的博客
10-02 2249
教你用python爬取王者荣耀英雄皮肤图片，并将图片保存在各自英雄的文件夹中。（附源码） 代码展示： 保存在各自的文件夹中 美么？ 让我们开始爬虫之路 开发环境 windows 10 python3.6 引用库存 import requests import os import json 打开王者荣耀官网点击游戏资料 https://pvp.qq.com/web201605/herolist.shtml 发现herolist.json文件中有英雄的信息，英雄ID、英雄名称，及皮肤的名称 通过英雄ID
提高学习兴趣
BYH1205的博客
09-18 87
爬虫是一门有趣的技术，它可以让我们感受到程序的魅力，给我们带来视觉冲击感和成就感，可以极大地提高我们对编程的学习 愿你我，都能： 遵循君子协议 合理使用技术 代码： 运行条件：代码中添加用户代理，总文件夹下新建pic文件夹（要与python文件在同一级哦）。 # 1.导入所需模块 import requests # 2.读取json文件 url = 'http://pvp.qq.com/web201605/js/herolist.json' headers = {'User-Agent':'此处省略，替换成
python爬虫实践之爬取王者荣耀皮肤
二木成林
12-26 2820
详细代码如下，具体的就不想分析了，代码中有注释。 import re import time import urllib.parse import requests # 爬虫实战：爬取王者荣耀皮肤 # 第1页的URL：https://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activity...
一键爬取王者荣耀全皮肤高清图片【方法一】
Python极客
02-05 2813
文章目录前言一、爬虫是什么？二、使用步骤1.引入库2.访问的URL3.爬取方法另外，皮肤图片的URL也需要我们手动的将其找出完整代码总结 前言 相信很多小伙伴们都喜欢玩王者荣耀这款MOBA手游吧，博主也非常喜欢玩这款手游，今天我就来教会大家如何用爬虫爬取王者荣耀英雄的相关皮肤图片。 一、爬虫是什么？ 网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
Python爬虫之一：十几行代码下载王者荣耀所有皮肤
热门推荐
C与Python实战
12-15 2万+
寻找皮肤图片地址 1 找到英雄列表 2 找到英雄皮肤地址 下载图片 1 英雄有几个皮肤 2 下载文件 起因：前两天在公众号上看到一篇文章内容就是爬取王者荣耀的皮肤，但是内容太大概了，如果跟着他做肯定做不出来，所以我打算自己做。 之前接触过爬虫还是几年前爬取豆瓣电台的歌曲，那时候用的C++，json解析还要用第三方库，总之很麻烦。最近接触到了python，深深的感觉这门语...
王者荣耀英雄皮肤官方高清图片爬虫
yuan_yang的博客
11-04 1万+
这是我自学python以来的第一篇博文，自学python其实不难，但不可避免的也踩过很多坑，所以这里我尽量地详细介绍爬取和解析的过程，希望能给初学者带来帮助！ 皮肤图片来源 因为官网没有直接的英雄皮肤接口，所以我们这里从 http://pvp.qq.com/ 的 “英雄资料”进入所有英雄列表， 选择一个英雄（以第一个英雄 沈梦溪 为例），进去该英雄资料页面 http://pvp.qq.com/...
爬取王者荣耀英雄皮肤python代码
06-13
以下是一个简单的爬取王者荣耀英雄皮肤的 Python 代码示例： ```python import requests from bs4 import BeautifulSoup # 发送 HTTP 请求，获取网页源码 url = 'https://pvp.qq.com/web201605/herolist.shtml' r = requests.get(url) html = r.content.decode('gbk') # 解析网页源码，提取需要的数据 soup = BeautifulSoup(html, 'html.parser') hero_list = soup.select('.herolist > li') for hero in hero_list: name = hero.select('.heroname')[0].text skin_list = hero.select('.skinlist > li') for skin in skin_list: skin_name = skin.select('a')[0].text skin_img = skin.select('img')[0]['src'] print(name, skin_name, skin_img) # 将提取到的数据存储到本地文件或数据库中 # ... ``` 这个代码示例中，我们使用 requests 库发送 HTTP 请求，获取王者荣耀英雄列表页面的网页源码。然后，我们使用 BeautifulSoup 库解析网页源码，提取英雄名字、皮肤名字和皮肤图片地址等数据。最后，我们可以将提取到的数据存储到本地文件或数据库中。注意，这个代码示例只是一个简单的示例，实际应用中还需要考虑更多的问题，比如爬虫的速度控制、异常处理、数据存储格式等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值