Python爬虫之selenium爬取英雄联盟官网英雄皮肤图片下载到本地和保存到数据库

从英雄联盟皮肤网站的网页源代码中获取不到英雄的皮肤地址 通过selenium可以轻松获取想要的内容

源码展示

from selenium import webdriver
from time import sleep
from pyquery import PyQuery as pq
import os,requests
from config import *
import pymongo
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()

client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]


def get_hero_url():
    browser.get("http://lol.qq.com/web201310/info-heros.shtml")
    html = browser.page_source
    doc = pq(html)
    #通过PyQuery解析出来的网页 用css选择器获取li标签内容 并返回一个生成器
    items = doc('#jSearchHeroDiv.imgtextlist li').items()
    #通过循环获取生成器下的内容
    for item in items:
        data ={
            'hero_url':'http://lol.qq.com/web201310/'+item.find('a').attr('href'),
            'hero_name':item.find('p').text()
        }
        #print(len(data['hero_url']))
        # 在网页加载的时候可能会因为