python爬虫工程师 成长之路十 selenium+phantomjs+request爬取lol所有英雄头像和装备图片

---

爬取所有英雄头像

---

选择爬取目标

---

这里我们选择

https://lol.qq.com/data/info-heros.shtml

英雄联盟英雄资料

寻找图片位置

通过浏览器的检查功能，寻找图片所在位置

观察发现所有英雄头像都处于"<img src="">"里面

所以，构建正则表达式如下

pattern1='<img src="(.+?)">'

是不是觉得腾讯的东西太简单了？其实，你一爬就会发现根本没有图片后面我发现这里使用的是js动态加载的

经过我反复琢磨，终于发现资源文件都在//lol.qq.com/biz/hero/champion.js

引入selenium和phantomjs

dr = webdriver.PhantomJS()