Python爬虫——Selenium方法爬取LOL页面

Selenium介绍

Selenium 是一个用于自动化Web应用程序测试的工具，但它同样可以被用来进行网页数据的抓取（爬虫）。Selenium 通过模拟用户在浏览器中的操作（如点击、输入、滚动等）来与网页交互，并可以捕获网页的渲染结果，这对于需要JavaScript渲染的网页特别有用。

• 1. 安装Selenium
     首先，你需要安装Selenium库。可以通过pip安装：

     pip install selenium
     

• 2. 下载WebDriver
     Selenium需要WebDriver来与浏览器交互。WebDriver是一个浏览器特定的驱动程序，允许Selenium控制浏览器。你需要根据你的浏览器（如Chrome、Edg等）下载相应的WebDriver。
  • 如何下载使用：
    • 直接在网上搜索你所使用的浏览器驱动，下载和你浏览器相同版本的驱动
    • 比如edg浏览器：
      
      
    • 下载和你的浏览器相同的驱动
    • 将下载好的驱动放在你的python.exe同一个目录下
    • 或者使用时可以在代码中指定WebDriver的路径

用Selenium方法爬取LOL每个英雄的图片及名字

• 使用Selenium方法相比requests方法爬取数据要简便的多

• 爬取步骤：

  • 1、指定浏览器的驱动，并通过网址请求页面
  • 2、获取想要的数据

• 1、指定浏览器的驱动，并通过网址请求页面

  • 这里我们使用的是edg驱动（已经将驱动放在了环境变量中）
  • 给定网址https://101.qq.com/#/hero
  • Selenium方法虽然不需要requests方法中那些前面的步骤，但还是需要查看索要爬取页面的请求方式（按F12），查看方法相同
    

    # 指定驱动
    driver = webdriver.Edge()
    # 请求页面 get请求方式
    driver.get('https://101.qq.com/#/hero')
    

• 获取想要的数据

  • LOL这个页面需要通过一个方法，让其请求页面的时候等待几秒（可自己设定），为了让页面渲染完，不然会爬取失败

  • 通过XPATH的方法获取所有存放信息的li标签

  • 获取所有图片的url和英雄姓名
    

    # 等待某个元素加载完成
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.XPATH, "//ul[@class='hero-list']"))
        )
        # 获取所有存放信息的li标签
        li_list = driver.find_elements(By.XPATH, "//ul[@class='hero-list']/li")
    	# 遍历每一个li标签，获取图片和英雄姓名
        for li in li_list:
            img_url = li.find_element(By.XPATH, "div/div/img").get_attribute("src")
            hero_name = li.find_element(By.XPATH, "div/p").text
            print(img_url, hero_name)
    

• 完整代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.edge.options import Options

if __name__ == '__main__':
	# 指定驱动
    driver = webdriver.Edge()
    # 请求页面
    driver.get('https://101.qq.com/#/hero')
    # 等待某个元素加载完成
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, "//ul[@class='hero-list']"))
    )
    # 等待某个元素加载完成
	WebDriverWait(driver, 10).until(
		EC.presence_of_element_located((By.XPATH, "//ul[@class='hero-list']"))
		    )
	# 获取所有存放信息的li标签
	li_list = driver.find_elements(By.XPATH, "//ul[@class='hero-list']/li")
	# 遍历每一个li标签，获取图片和英雄姓名
	for li in li_list:
		img_url = li.find_element(By.XPATH, "div/div/img").get_attribute("src")
		hero_name = li.find_element(By.XPATH, "div/p").text
		print(img_url, hero_name)
	# 关闭驱动
    driver.close()

• 爬取结果
  • 点击图片链接便可以查看