python 爬虫源码 selenium_Selenium自动化之爬虫应用(附Python&Java代码)

原标题：Selenium自动化之爬虫应用(附Python&Java代码)

本文以Testfan社区（ask.testfan.cn）为案例，介绍下如何使用Selenium自动化工具实现简单的爬虫功能，本文的代码是用Python脚本实现的，Java下类似(文章下面追加了java的实现)，主要借鉴思路即可。

首先我们分析下testfan社区文章模块的url格式：

http: //ask.testfan.cn /articles?page=1

//此处的page= 1控制的翻页的页码，也就是说如果我想看第二页的文章，那我把page= 1改成page= 2就可以了，以此类推

接下来我们分析下每页的文章标题在dom里的位置和结构，我们想获取每个文章的标题文本和文章的url链接，此处的定位方式很多，自己练习下，本文采用css定位方式。

剩下的就是循环打印每个文章的标题和URL并保存到文件中了，当搞定当前页面后，更新下一个页面的URL再继续就可以了。

代码实现逻辑如下：

改了个java版的，配合HtmlUnitDriver提高了下效率

------------------------------------------------------------------------------------------------

社区地址：http://ask.testfan.cn/

获取链接：http://www.testfan.cn/#gks返回搜狐，查看更多

责任编辑：