原标题:Selenium自动化之爬虫应用(附Python&Java代码)
本文以Testfan社区(ask.testfan.cn)为案例,介绍下如何使用Selenium自动化工具实现简单的爬虫功能,本文的代码是用Python脚本实现的,Java下类似(文章下面追加了java的实现),主要借鉴思路即可。
首先我们分析下testfan社区文章模块的url格式:
http: //ask.testfan.cn /articles?page=1
//此处的page= 1控制的翻页的页码,也就是说如果我想看第二页的文章,那我把page= 1改成page= 2就可以了,以此类推
接下来我们分析下每页的文章标题在dom里的位置和结构,我们想获取每个文章的标题文本和文章的url链接,此处的定位方式很多,自己练习下,本文采用css定位方式。
剩下的就是循环打印每个文章的标题和URL并保存到文件中了,当搞定当前页面后,更新下一个页面的URL再继续就可以了。
代码实现逻辑如下:
改了个java版的,配合HtmlUnitDriver提高了下效率
------------------------------------------------------------------------------------------------
社区地址:http://ask.testfan.cn/
获取链接:http://www.testfan.cn/#gks返回搜狐,查看更多
责任编辑: