selenium的项目实战详解（单一详情页面处理）

最新推荐文章于 2024-08-15 21:48:50 发布

程序员阿雅

最新推荐文章于 2024-08-15 21:48:50 发布

阅读量166

点赞数

文章标签： selenium 测试工具测试用例

本文链接：https://blog.csdn.net/m0_61046899/article/details/131245943

版权

本文详细介绍了如何使用Selenium测试工具进行网页数据抓取，包括搜索关键词、点击搜索、提取列表页内容（利用正则和Json）、进入详情页并使用XPath提取内容，以及将数据保存到Excel。在操作中，强调了页面等待的重要性，以及如何通过Json解析和字典处理提取所需岗位信息。

摘要由CSDN通过智能技术生成

看一下任务要求
1. 搜索页输入关键词，点击搜索按钮
2. 列表页内容提取（正则表达式 + Json）[输入关键字拿到输入后的第一个页面]
3. 详情页内容提取（Selenium + XPath）[页面中再点开具体内容然后显示内容]
4. 保存数据到Excel表
（零）预备环节

（1）先看看要分别引入多少库

from selenium import webdriver   （网页抓取）
from selenium.common.exceptions import TimeoutException  （用于异常排查）
from selenium.webdriver.common.by import By                (用于元素定位)
from selenium.webdriver.support import expected_conditions as EC   （用于显示等待）
from selenium.webdriver.support.wait import WebDriverWait   （用于反屏蔽中设置等待时间）
from os import makedirs    （新建目录的方法）
from os.path import exists  
import json               （处理可能遇到的json文件）
import re                 （编写正则表达式）
import pandas as pd          （编写pandas用dataframe保存到excel）

（2）看看用到哪些全局变量（网址、爬取页数、文件夹名、文件具体名）

INDEX_URL = 'https://www....com/' #网址
TIMEOUT = 10        # 超时10秒
TOTAL_PAGE = 10     # 共爬取10页
RESULTS_DIR = 'results'  # 结果文件夹
RESULTS_FILE = 'jobs.xlsx'#具体文件夹的文件名
exists(RESULTS_DIR) or makedirs(RESULTS_DIR)  # 文件夹不存在就新建  有就放 没有就建

（3）反屏蔽设置[这个以后直接复制粘贴用不用详细了解]