一、需求
将百度搜索到的内容进行截屏保存,并提取前五页搜索到的标题及链接,输出到电子表格
二、截图内容
三、代码实现
这段代码主要是使用 DrissionPage 库来实现对百度搜索页面的操作,并获取搜索结果中的标题和链接,将其存储在列表中,然后转换为 DataFrame 并保存为 Excel 文件。
以下是对代码的逐步分析:
1. 导入所需的库和模块,包括 ChromiumPage 、 ChromiumOptions 和 pandas 。
2. 设置了 Chrome 浏览器的路径。
3. 创建 ChromiumPage 对象,并访问百度首页。
4. 在搜索框中输入文本并点击搜索按钮。
5. 创建一个空列表 list 用于存储结果。
6. 通过循环获取 5 页的搜索结果:
- 等待 2 秒。
- 截取当前页面的全屏截图并保存。
- 遍历所有的 h3 元素,获取每个元素中的标题和链接,并将其存储在字典中,然后添加到列表中。
- 将列表转换为 DataFrame 并保存为 Excel 文件。
- 打印每个标题和链接。
- 点击“下一页”按钮,并等待页面加载开始。
from DrissionPage import ChromiumPage,ChromiumOptions import pandas as pd #ch