行走的骆驼的博客

行走在代码的边缘,拥抱代码

爬虫

实现爬虫:
PhantomJs:无头浏览器
Selenium:主要是用来做自动化测试,支持多种浏览器,模拟浏览器进行网页加载,支持JS脚本执行和CSS解析、渲染等准浏览器功能

Jsoup
jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
网页获取和解析速度飞快,推荐使用。
 主要功能如下:
 1. 从一个URL,文件或字符串中解析HTML;
 2. 使用DOM或CSS选择器来查找、取出数据;
 3. 可操作HTML元素、属性、文本;
内容
缺点:只能对html页面进行解析,无法进行模拟浏览器操作
HttpClient
HttpClient 是 Apache Jakarta Common 下的子项目,可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包,并且它支持 HTTP 协议最新的版本和建议。
以下列出的是 HttpClient 提供的主要的功能,要知道更多详细的功能可以参见 HttpClient 的主页。
 (1)实现了所有 HTTP 的方法(GET,POST,PUT,HEAD 等)
 (2)支持自动转向
 (3)支持 HTTPS 协议
 (4)支持代理服务器
   (5)支持自动的Cookies管理等
Java爬虫开发中应用最多的一种网页获取技术,速度和性能一流,在功能支持方面显得较为底层,不支持JS脚本执行和CSS解析、渲染等准浏览器功能,推荐用于需要快速获取网页而无需解析脚本和CSS的场景。

HtmlUnit
htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容。项目可以模拟浏览器运行,被誉为java浏览器的开源实现。这个没有界面的浏览器,运行速度也是非常迅速的。采用的是Rhinojs引擎。模拟js运行。
网页获取和解析速度较快,性能较好,推荐用于需要解析网页脚本的应用场景。

Watij
Watij(发音wattage)是一个使用Java开发的Web应用程序测试工具,鉴于Watij的简单性和Java语言的强大能力,Watij能够使您在真正的浏览器中完成Web应用程序的自动化测试。因为是调用本地浏览器,因此支持CSS渲染和JS执行。
网页获取速度一般,IE版本过低(6/7)时可能会引发内存泄露。

Webspec 
一个开源的带有界面的Java浏览器,支持脚本执行和CSS渲染。速度一般。

阅读更多
个人分类: java
想对作者说点什么? 我来说一句

java爬虫爬虫爬虫

2010年06月08日 12.8MB 下载

java爬虫 获得源码程序

2010年12月26日 2KB 下载

好用的爬虫好用的爬虫

2011年03月25日 132KB 下载

java爬虫漫爬,微博爬虫

2018年05月21日 576.14MB 下载

ZhiHu-master.zip

2017年09月07日 697KB 下载

爬虫依赖包

2018年02月06日 12.36MB 下载

scrapy-1.4.pdf

2017年11月22日 1.15MB 下载

基于VC的爬虫(网络蜘蛛)源码

2009年02月24日 1.52MB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭