关于Selenium的分页处理

最新推荐文章于 2024-06-23 08:00:00 发布

彼岸0823

最新推荐文章于 2024-06-23 08:00:00 发布

阅读量305

点赞数

分类专栏： Selenium python 文章标签： python selenium Powered by 金山文档

本文链接：https://blog.csdn.net/gouqihang/article/details/129423118

版权

本文介绍了如何使用Python的Selenium库处理网页分页，包括获取总页数、遍历每一页并进行特定操作的逻辑。示例代码展示了实际操作过程。

摘要由CSDN通过智能技术生成

有时候我们会需要对页面进行翻页操作

翻页操作逻辑：

获取总页数

获取所有分页并循环翻页

针对每一次分页进行后续逻辑处理

示例：

# -*- coding: utf-8 -*-
from selenium import webdriver
import time
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()

# 访问Python吧首页
index_url = 'http://tieba.baidu.com/f?ie=utf-8&kw=python'
# frs_list_pager
driver.get(index_url)
# 定位等到分页div
pagination_div = driver.find_element(By.ID, 'frs_list_pager')

print(pagination_div)

# 计算最后一页的页码
# 先点击尾页按钮
driver.find_element(By.CSS_SELECTOR, '.last.pagination-item