用python网络爬虫爬取英雄联盟英雄图片

用python爬虫爬取lol皮肤。

这也用python网络爬虫爬取lol英雄皮肤，忘了是看哪个大神的博客（由于当时学了下就一直放在这儿，现在又才拿出来，再加上马上要考二级挺忙的。），代码基本上是没改，还望大神原谅。本人小白，没学过Python，只是去尝试体python爬虫的感觉和经验，正准备学python。忘大神勿喷。来一句：“人生苦短，我用python”。

先上一波图

个人感觉还是挺好的。下面我们就来学习一下怎样爬取？

所需要的函数库有json re（正则表达式库） requests和time是python自带的

其中只有requests需要通过cmd命令行安装，安装方法就是在python安装目录下用cmd命令行输入下面字符

pip Install requests

由于我已经安装过了，所以提示我已经安装了。

第一步是获取英雄id

ID的获取地址是从英雄联盟官网F12后在Network里找到champion.js，具体地址如下

http://lol.qq.com/biz/hero/champion.js

json

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

import re import requests import time def getLOLImages(): header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'} url_js = 'http://lol.qq.com/biz/hero/champion.js' #获取JS源代码 Str bytes res_js = requests.get(url_js).content #转码 转成字符串 html_js = res_js.decode() #正则表达式 req = '"keys":(.*?),"data"' list_js = re.findall(req,html_js) #转成dict dict_js = json.loads(list_js[0]) print(type(dict_js)) #定义图片列表 pic_list = [] for key in dict_js: printkey)#英雄ID

第二步就是拼接URL了，通过发现英雄皮肤url的取名方式，我们可以方向最后的数字是不同的。让后通过此方法来获取图片地址。

1 2 3 4 5 6 7 8 9 10

for i in range(20): number = str(i) if len(number) == 1: hero_num = "00"+number elif len(number) == 2: hero_num = "0"+number numstr = key+hero_num url = "http://ossweb-img.qq.com/images/lol/web201310/skin/big"+numstr+".jpg" #http://ossweb-img.qq.com/images/lol/web201310/skin/big81000.jpg pic_list.append(url)

第三步是获取图片名称，path那行是放置图片的地址，注意结尾的\\不能丢。路径要设置成自己的。

1 2 3 4 5 6

list_filepath = [] path = "D:\Pycharmdaima\Pachong\LOLTU\\" for name in dict_js.values(): for i in range(20): file_path = path+name+str(i)+'.jpg' list_filepath.append(file_path)

第四步就是下载图片了，注释掉time.sleep（1）后会加速爬取速度 但是可能被腾讯中断爬取。

1 2 3 4 5 6 7 8 9 10

n = 0 for picurl in pic_list: res = requests.get(picurl) n += 1 #获取状态码 if res.status_code == 200: print("正在下载%s"%list_filepath[n]) time.sleep(1) with open(list_filepath[n],'wb') as f: f.write(res.content)

下面是全部代码:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59

import json import re import requests import time #获取JS源代码 获取英雄ID #拼接URL地址 #获取图片下载地址 #下载图片 #驼峰命名法 #获取英雄图片 def getLOLImages(): header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'} url_js = 'http://lol.qq.com/biz/hero/champion.js' #获取JS源代码 Str bytes res_js = requests.get(url_js).content #转码 转成字符串 html_js = res_js.decode() #正则表达式 req = '"keys":(.*?),"data"' list_js = re.findall(req,html_js) #转成dict dict_js = json.loads(list_js[0]) # print(type(dict_js)) ​ #定义图片列表 ​ pic_list = [] ​ for key in dict_js: # print(key)#英雄ID ​ #拼接URL ​ for i in range(20): ​ number = str(i) ​ if len(number) == 1: ​ hero_num = "00"+number ​ elif len(number) == 2: ​ hero_num = "0"+number ​ numstr = key+hero_num ​ url = "http://ossweb-img.qq.com/images/lol/web201310/skin/big"+numstr+".jpg" ​ #http://ossweb-img.qq.com/images/lol/web201310/skin/big81000.jpg ​ pic_list.append(url) ​ #获取图片名称 ​ list_filepath = [] ​ path = "D:\Pycharmdaima\Pachong\LOLTU\\" ​ for name in dict_js.values(): ​ for i in range(20): ​ file_path = path+name+str(i)+'.jpg' ​ list_filepath.append(file_path) ​ #下载图片 ​ n = 0 ​ for picurl in pic_list: ​ res = requests.get(picurl) ​ n += 1 ​ #获取状态码 ​ if res.status_code == 200: ​ print("正在下载%s"%list_filepath[n]) ​ time.sleep(1) ​ with open(list_filepath[n],'wb') as f: ​ f.write(res.content) getLOLImages()

以下是我的部分代码

我对以上代码也是有点懵毕竟刚接触，如果大家有意要LOL皮肤的可以给在评论去找我。展示一下，我下了所有的哈哈。。。。。。。。

最后：大家学爬虫一定要遵守法律，切勿用作商用。

来自博主的忠告：博主提醒你，爬虫不规范，牢底坐穿，亲人两行泪！