python selenium翻页_Python+Selenium学习--分页处理

场景

我们在测试一个web 应用时，经常出现翻页的情况，下面介绍翻页场景

代码

#!/usr/bin/env python

# -*- codinfg:utf-8 -*-

'''

@author: Jeff LEE

@file: 翻页.py

@time: 2018-09-26 11:14

@desc:

'''

from selenium import webdriver

from selenium.webdriver.common.action_chains import ActionChains

import time

driver = webdriver.Firefox()

#添加智能等待

driver.implicitly_wait(10)

driver.get('https://www.baidu.com/')

driver.find_element_by_id('kw').send_keys('uniquefu')

driver.find_element_by_id('su').click()

page = driver.find_element_by_id('page')

pages = page.find_elements_by_tag_name('a') #查找所有翻页跳转链接

time.sleep(5)

js = 'document.documentElement.scrollTop=10000'

total = 0 #页面数

is_next_page = True #存在下一页

page_num = 0 #要点击的页面号

#往后翻页

while page_num <10: #也可以通过is_next_page进行判断循环

driver.execute_script(js)

page_num = page_num + 1 #设置页号为下一页

total = page_num #记录页面数

value=str(page_num)

try:

#查找指定页面

xpath= "//div[@id='page']/a[contains(@href,'pn=%s')]" %value

print(xpath)

one_page = driver.find_element_by_xpath(xpath)

one_page.click()

time.sleep(1)

driver.execute_script(js)

time.sleep(1)

except:

print('no next page')

is_next_page = False

total = total - 1

break

#往前翻页

while total >= 0:

driver.execute_script(js)

try:

total = total -1

value = str(total)

xpath = "//div[@id='page']/a[contains(@href,'pn=%s')]" % value

print(xpath)

one_page = driver.find_element_by_xpath(xpath)

one_page.click()

time.sleep(1)

driver.execute_script(js)

time.sleep(1)

except:

print('no pre page')

break;

time.sleep(3)

driver.quit()

遇到问题：

selenium.common.exceptions.StaleElementReferenceException: Message: u'Element not found in the cache - perhaps the page has changed since it was looked up' ; Stacktrace:

即在cache中找不到元素，可能是在元素被找到之后页面变换了。 这就说明，当前页面发生跳转之后，存在cache中的与这个页面相关的元素也被清空了，因此跳转后需要重新获取下一个页面翻页链接，然后点击。

备注：

对于类型博客类型的翻页不需要那么麻烦，因为翻页后页面链接不会发生变化