selenium的项目实战详解（单一详情页面处理）

 

看一下任务要求
1. 搜索页输入关键词，点击搜索按钮
2. 列表页内容提取 （正则表达式 + Json）[输入关键字 拿到输入后的第一个页面]
3. 详情页内容提取 （Selenium + XPath）[页面中再点开具体内容 然后显示内容]
4. 保存数据到Excel表
（零）预备环节

（1）先看看要分别引入多少库

from selenium import webdriver   （网页抓取）
from selenium.common.exceptions import TimeoutException  （用于异常排查）
from selenium.webdriver.common.by import By                (用于元素定位)
from selenium.webdriver.support import expected_conditions as EC   （用于显示等待）
from selenium.webdriver.support.wait import WebDriverWait   （用于反屏蔽中设置等待时间）
from os import makedirs    （新建目录的方法）
from os.path import exists  
import json               （处理可能遇到的json文件）
import re                 （编写正则表达式）
import pandas as pd          （编写pandas用dataframe保存到excel）

（2）看看用到哪些全局变量（网址、爬取页数、文件夹名、文件具体名）

INDEX_URL = 'https://www....com/' #网址
TIMEOUT = 10        # 超时10秒
TOTAL_PAGE = 10     # 共爬取10页
RESULTS_DIR = 'results'  # 结果文件夹
RESULTS_FILE = 'jobs.xlsx'#具体文件夹的文件名
exists(RESULTS_DIR) or makedirs(RESULTS_DIR)  # 文件夹不存在就新建  有就放 没有就建

（3）反屏蔽设置[这个以后直接复制粘贴用 不用详细了解]

#