最近做了好几个爬虫项目,有一定想法,在这里和大家分享一下:
我使用了三种爬虫的解析方式:
- json解析:一般移动端的数据是以json传递,这时候使用json解析就会特别方便。
- jsoup解析:jsoup是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。这种方式非常简单,可以快速入手,这也是Java爬虫最常见的方法。
- 正则表达式解析:正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。正则表达式解析页面就相对而言就复杂一些。正则表达式通过检索筛选出整个页面中满足条件的字符串。
json解析
首先将爬取的这个页面转换成json形式:
然后就可以对json进行操作了,如果是一个json对象,使用JSONObject,如果是一个json数组,使用 JSONArray.
具体可参考:json解析
jsoup解析
Docment doc=Jsoup.connect(url)
.userAgent(&#