在实现网络爬虫的过程中,总会涉及到解析Html代码,那么lz通常用的是jsoup这个第三方jar包
Jsoup简介
jsoup 是一款 Java 的 HTML 解析器,可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API,可通过 DOM,CSS 以及类似于 jQuery 的操作方法来取出和操作数据。
jsoup 的主要功能如下:
1. 从一个 URL,文件或字符串中解析 HTML;
2. 使用 DOM 或 CSS 选择器来查找、取出数据;
3. 可操作 HTML 元素、属性、文本;
Jsoup用法
其实只要对于html有基础的同学,在使用jsoup的时候都会感觉是在写html代码,因为jsoup内部也是使用html代码的方式来解析html,所以都会使用到选择器这些东西,关于Jsoup的用法这里不多说,可以参考下面这篇文章:
(jsoup解析的常见用法)
http://icysea.iteye.com/blog/1680459
注意事项
1.在使用jsoup解析节点属性的时候要注意编码的问题
2.Jsoup并不能解析动态数据,就例如ajax请求的数据,如果需要获取动态数据,可以使用jsoup+jdic实现
3.Jsoup在访问网页的过程中可以携带cookie,这就解决了我前俩节说的使用HttpUrlConnection要自己处理cookie的情况