python爬虫日志(13)selenium实现淘宝自动翻页以及在新的标签页中打开网页

对于淘宝这个网站，翻页可以有很多种方法，我们可以点击下一页，可以点击数字，也可以直接输入页数然后回车，这里我自己是采用点击下一页的方法，这样就不用获取总页数，因为当到达最后一页时，包含下一页的标签的class会有一个'next-disabled'属性很方便的判断是否到达最后一页。

知道原理代码就很简单了。

next_button = browser.find_element_by_css_selector('li.item.next')                      # 翻页按钮
if 'next-disabled' not in next_button.get_attribute('class'):
    next_button.click()

 

下面是在新标签页中打开网页的方法：

# 首先我们执行一段js命令在新的标签页打开网页
new_window = 'window.open("{}")'.format(url)
browser.execute_script(new_window)

handles = browser.window_handles   # 获取浏览器所有标签的句柄，这里返回是一个列表


# 再用switch_to.window()来切换标签
browser.switch_to.window(handles[-1])  # ok这样就切换到新的标签页中了
# 值得注意的是，find_element方法只能在browser当前所在的标签内寻找，如果查找其他标签内的元素，将会出现Nosuchelement的错误

browser.close()#关闭当前标签
browser.switch_to.window(handles[0])  # 切回原来的标签

browser.quit()#是退出浏览器，其功能要与close()区分