python爬取动态网页PAT

背景

最近刷PAT写题解的时候，需要复制每个题目到md文件，很繁琐，就想着用爬虫将PAT的题目都爬取出来，可查看网页源代码后发现是动态页面，需要用selenium进行爬取。

静态页面：数据都在源代码中（并不是F12控制台中的）

动态页面：以PAT为例，源代码中无题目信息

技术选型

• selenium 爬取动态页面
• html2text 将html解析为md

项目代码

代码讲解（完整代码文章末）

1. 导入库

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import html2text

2. 下载浏览器驱动，生成网页。因为是动态网页，selenium能够模拟人登录并获取源代码。驱动下载参考，目录改为自己的

IE浏览器:http://selenium-release.storage.googleapis.com/index.html
Edge浏览器:http://go.microsoft.com/fwlink/?LinkId=619687
chrome浏览器:http://chromedriver.storage.googleapis.com/index.html

def getDriver(url):
    driver = webdriver.Edge(r'E:\VirtualDesktop\code\pyCode\msedgedriver.exe')
    driver.get(url)
    return driver

3. 获取题目和链接。由于PAT题目的id是随机的，无法使用拼串（xxx.html?id=）的方式进行访问，所以我们需要每道题的链接进行访问。总题目网址
   
   wait是等待页面加载完成，不然获取不到数据

def getProLists(driver, ulists):
    wait = WebDriverWait(driver, 3)
    wait.until(EC.presence_of_element_located((By.CLASS_NAME, "DataTableContainer_3cQiI")))
    pros = driver.find_elements_by_css_selector(
        "div.DataTableContainer_3cQiI > table > tbody > tr > td:nth-child(3) > a")
    for pro in pros:
        ulists