Python + Selenium 自动翻页的方法概要总结

一、使用分析提取的网址

        可以分析目标网页的体系结构，解构目标数据结构分析提取下一页的网址。目标数据结构可能是预先设定以相同前缀+页码的连续网页地址集、包含目标数据的href属性的a标签，或者加载的Javascript变量值，亦可能是远程地址的XML/JSON数据。通过Selenium的

webdriver.get(url)

直接跳转至下一页。或者使用

webdriver.execute_script('window.location="'+url+'";')

 以Javascript脚本启动翻页过程。

二、通过Selenium目标网页的预设逻辑

        这需要详细解剥目标的节点node结构，解析提取出关键的节点或路径信息。并使用Selenium查找节点element的几种方法（如CSS、xpath等方式Locating elements）定位目标节点。通过定位的Selenium element节点的click()方法模拟鼠标左键点击事件实现预设的翻页逻辑。

三、Selenium + Javascript 结合实现预设逻辑

        充分利用Javascript“近水楼台”的优势和强大的HTML document处理能力，完成目标节点的分析和处理工作，实现自动翻页的任务。对于熟悉Javascript的程序uu，信手拈来，这是再简单不过的事儿！既可以使用解构后的详细目标节点信息，也可以以主观意识的方式辨别经过模糊搜索得来的“泛数据”。最后通过webdriver实例化的对象execute_script(script)方法执行Javascript脚本。当然，像这种“主观判断”的思维逻辑方式，得出的结果无论是在理论上亦或是实际应用中，不太可能达到100%的预期值。对于个别显著差异化的数据，仍须手动添加相应规则进行筛选。对于大部分站点而言，应该足够了。