java网络爬虫技术记录
文章平均质量分 52
iteye_18228
这个作者很懒,什么都没留下…
展开
-
selenium驱动Chrome抓取网页数据
目的:使用selenium抓取数据。抓取网页数据可以有多种技术方法(这里只列几种):1.java httpclient+jsoup(对js基本无支持),类似于wget和jsoup。2.分析对方网站暴露出的接口3.htmlunit4.selenium5.webkit(没有测试过,不过听说chrome内核也是基于webkit的,具体细节不明)对于以上各种方法的适用场景:方法1:适合那种禁用js和c...原创 2015-03-25 11:41:52 · 333 阅读 · 0 评论 -
selenium ChromeDriver禁用图片
环境:centos6.6+selenium maven 2.45.0+41.0.2272.101 (64-bit) ChromeDriver禁用图片问题,花了几个小时在网上搜索,一直没有找到想要的结果。 搜到到结果大同小异,但是始终没有解决我的问题。 偶然点到了这个网页 https://www.linkedin.com/groups/Store-files-download-in-cu...原创 2015-03-27 14:19:08 · 1310 阅读 · 0 评论