Android应用开发-小巫CSDN博客客户端Jsoup篇

Android应用开发-小巫CSDN博客客户端Jsoup篇

距上一篇博客已经过去了两个星期，小巫也觉得非常抱歉，因为在忙着做另外一个项目，几乎抽不出空来，这不小巫会把剩下的博文全部在国庆补上。本篇博客将会给大家介绍如何使用Jsoup这个库来解析我们的网页，并且如何对我们想解析的网页进行分析。

Jsoup这个库的下载地址：http://jsoup.org/download

笔者这里使用的jsoup-1.7.2

下载完之后复制到项目中的libs目录下即可：

Jsoup的资料比较少，可供参考的可到其官网进行学习这个库的使用：http://www.open-open.com/jsoup/

API查阅地址：http://jsoup.org/apidocs/

对这个库的使用笔者也不是非常熟悉，就只是简单参考了文档而完成了解析工作，所以下面的笔者的解析代码也只是提供参考，具体的解析方法，请认真查看api文档。

如何使用Jsoup这个库不是重点，重点是如何对我们想解析的网页进行分析，如何做到像以下的效果：

这里可以看到首页是获取笔者博客的博文列表，每一个条目都有对应的标题、博文摘要、发布时间、阅读数、评论数。这些内容就是通过解析首页html页面所得到的内容。

好，就是这样的一个html页面，大伙是不是很想把它搬到手机上呢，只要你学会了如何分析html页面，你可以把任何你想要的内容搬下来，只要你抓取的网页没有做防扒取的措施。

笔者使用的浏览器是Google Chrome，作为专业的IT人士，不用Chrome确实说不过去，按下F12，你就可以看到以下景象，感觉好兴奋啊，可以去寻找你想要的宝藏了。是啊，逗比可以往下看了：

如果想解析一个网页，还是得你自己以上面这种方式去看，找到你想要的内容。小巫是这样做的，可以通过右键查看元素，直接查看对应的html源代码，这样你就知道内容对应的标签是什么了。因为小巫想获得首页的所有博文列表，所以我就找到博文的最外层的div标签开始分析，我找到了id为article_list,然后接着找到了每条博文项的内容，确定下它们的具体的标签，使用了什么class，博客可以通过class来获取你想要的元素，然后取得元素的内容。

直接上代码吧：

[java]  view plain copy

1. /** 
2.      * 使用Jsoup解析html文档 
3.      *  
4.      * @param blogType 
5.      * @param str 
6.      * @return 
7.      */  
8.     public static List<BlogItem> getBlogItemList(int blogType, String str) {  
9.         // Log.e("URL---->", str);  
10.         List<BlogItem> list = new ArrayList<BlogItem>();  
11.         // 获取文档对象  
12.         Document doc = Jsoup.parse(str);  
13.         // Log.e("doc--->", doc.toString());  
14.         // 获取class="article_item"的所有元素  
15.         Elements blogList = doc.getElementsByClass("article_item");  
16.         // Log.e("elements--->", blogList.toString());  
17.   
18.         for (Element blogItem : blogList) {  
19.             BlogItem item = new BlogItem();  
20.             String title = blogItem.select("h1").text(); // 得到标题  
21.             // System.out.println("title----->" + title);  
22.             String description = blogItem.select("div.article_description")  
23.                     .text();  
24.             // System.out.println("descrition--->" + description);  
25.             String msg = blogItem.select("div.article_manage").text();  
26.             // System.out.println("msg--->" + msg);  
27.             String date = blogItem.getElementsByClass("article_manage").get(0)  
28.                     .text();  
29.             // System.out.println("date--->" + date);  
30.             String link = BLOG_URL  
31.                     + blogItem.select("h1").select("a").attr("href");  
32.             // System.out.println("link--->" + link);  
33.             item.setTitle(title);  
34.             item.setMsg(msg);  
35.             item.setContent(description);  
36.             item.setDate(date);  
37.             item.setLink(link);  
38.             item.setType(blogType);  
39.   
40.             // 没有图片  
41.             item.setImgLink(null);  
42.             list.add(item);  
43.   
44.         }  
45.         return list;  
46.     }  

小巫通过class="article_item"获取到所有的元素，也就是Element，然后遍历所有的元素，把每个元素我们需要的值取出来。我们可以定义一个实体类，比如文章项BlogItem,通过创建不同的BlogItem对象，然后最后添加到list当中，我们就可以把所有博文列表保存下拉，下次取的时候，直接通过list来取即可。

我们可以看到使用Jsoup这个库，只需要那么少的代码就可以轻松获取到我们想要的内容，编码、效率啥都有，还等什么，去用吧。

然后获取博文详细内容也是类似的，给定一个url，我们就可以同样的方式去解析html代码：

[java]  view plain copy

1. /** 
2.      * 扒取传入url地址的博客详细内容 
3.      *  
4.      * @param url 
5.      * @param str 
6.      * @return 
7.      */  
8.     public static List<Blog> getContent(String url, String str) {  
9.         List<Blog> list = new ArrayList<Blog>();  
10.   
11.         // 获取文档内容  
12.         Document doc = Jsoup.parse(str);  
13.   
14.         // 获取class="details"的元素  
15.         Element detail = doc.getElementsByClass("details").get(0);  
16.         detail.select("script").remove(); // 删除每个匹配元素的DOM。  
17.   
18.         // 获取标题  
19.         Element title = detail.getElementsByClass("article_title").get(0);  
20.         Blog blogTitle = new Blog();  
21.         blogTitle.setState(Constants.DEF_BLOG_ITEM_TYPE.TITLE); // 设置状态  
22.         blogTitle.setContent(ToDBC(title.text())); // 设置标题内容  
23.   
24.         // 获取文章内容  
25.         Element content = detail.select("div.article_content").get(0);  
26.   
27.         // 获取所有标签为<a的元素  
28.         Elements as = detail.getElementsByTag("a");  
29.         for (int b = 0; b < as.size(); b++) {  
30.             Element blockquote = as.get(b);  
31.             // 改变这个元素的标记。例如,<span>转换为<div> 如el.tagName("div");。  
32.             blockquote.tagName("bold"); // 转为粗体  
33.         }  
34.   
35.         Elements ss = detail.getElementsByTag("strong");  
36.         for (int b = 0; b < ss.size(); b++) {  
37.             Element blockquote = ss.get(b);  
38.             blockquote.tagName("bold");  
39.         }  
40.   
41.         // 获取所有标签为<p的元素  
42.         Elements ps = detail.getElementsByTag("p");  
43.         for (int b = 0; b < ps.size(); b++) {  
44.             Element blockquote = ps.get(b);  
45.             blockquote.tagName("body");  
46.         }  
47.   
48.         // 获取所有引用元素  
49.         Elements blockquotes = detail.getElementsByTag("blockquote");  
50.         for (int b = 0; b < blockquotes.size(); b++) {  
51.             Element blockquote = blockquotes.get(b);  
52.             blockquote.tagName("body");  
53.         }  
54.   
55.         // 获取所有标签为<ul的元素  
56.         Elements uls = detail.getElementsByTag("ul");  
57.         for (int b = 0; b < uls.size(); b++) {  
58.             Element blockquote = uls.get(b);  
59.             blockquote.tagName("body");  
60.         }  
61.   
62.         // 找出粗体  
63.         Elements bs = detail.getElementsByTag("b");  
64.         for (int b = 0; b < bs.size(); b++) {  
65.             Element bold = bs.get(b);  
66.             bold.tagName("bold");  
67.         }  
68.   
69.         // 遍历博客内容中的所有元素  
70.         for (int j = 0; j < content.children().size(); j++) {  
71.             Element c = content.child(j); // 获取每个元素  
72.   
73.             // 抽取出图片  
74.             if (c.select("img").size() > 0) {  
75.                 Elements imgs = c.getElementsByTag("img");  
76.                 System.out.println("img");  
77.                 for (Element img : imgs) {  
78.                     if (!img.attr("src").equals("")) {  
79.                         Blog blogImgs = new Blog();  
80.                         // 大图链接  
81.                         if (!img.parent().attr("href").equals("")) {  
82.                             blogImgs.setImgLink(img.parent().attr("href"));  
83.                             System.out.println("href="  
84.                                     + img.parent().attr("href"));  
85.                             if (img.parent().parent().tagName().equals("p")) {  
86.                                 // img.parent().parent().remove();  
87.                             }  
88.                             img.parent().remove();  
89.                         }  
90.                         blogImgs.setContent(img.attr("src"));  
91.                         blogImgs.setImgLink(img.attr("src"));  
92.                         System.out.println(blogImgs.getContent());  
93.                         blogImgs.setState(Constants.DEF_BLOG_ITEM_TYPE.IMG);  
94.                         list.add(blogImgs);  
95.                     }  
96.                 }  
97.             }  
98.             c.select("img").remove();  
99.   
100.             // 获取博客内容  
101.             Blog blogContent = new Blog();  
102.             blogContent.setState(Constants.DEF_BLOG_ITEM_TYPE.CONTENT);  
103.   
104.             if (c.text().equals("")) {  
105.                 continue;  
106.             } else if (c.children().size() == 1) {  
107.                 if (c.child(0).tagName().equals("bold")  
108.                         || c.child(0).tagName().equals("span")) {  
109.                     if (c.ownText().equals("")) {  
110.                         // 小标题，咖啡色  
111.                         blogContent  
112.                                 .setState(Constants.DEF_BLOG_ITEM_TYPE.BOLD_TITLE);  
113.                     }  
114.                 }  
115.             }  
116.   
117.             // 代码  
118.             if (c.select("pre").attr("name").equals("code")) {  
119.                 blogContent.setState(Constants.DEF_BLOG_ITEM_TYPE.CODE);  
120.                 blogContent.setContent(ToDBC(c.outerHtml()));  
121.             } else {  
122.                 blogContent.setContent(ToDBC(c.outerHtml()));  
123.             }  
124.             list.add(blogContent);  
125.         }  
126.   
127.         return list;  
128.     }  

获取评论列表：

[java]  view plain copy

1. /** 
2.      * 获取博文评论列表 
3.      *  
4.      * @param str 
5.      *            json字符串 
6.      * @return 
7.      */  
8.     public static List<Comment> getBlogCommentList(String str, int pageIndex,  
9.             int pageSize) {  
10.         List<Comment> list = new ArrayList<Comment>();  
11.         try {  
12.             // 创建一个json对象  
13.             JSONObject jsonObject = new JSONObject(str);  
14.             JSONArray jsonArray = jsonObject.getJSONArray("list"); // 获取json数组  
15.             int index = 0;  
16.             int len = jsonArray.length();  
17.             BlogCommentActivity.commentCount = String.valueOf(len); // 评论条数  
18.             // 如果评论数大于20  
19.             if (len > 20) {  
20.                 index = (pageIndex * pageSize) - 20;  
21.             }  
22.   
23.             if (len < pageSize && pageIndex > 1) {  
24.                 return list;  
25.             }  
26.   
27.             if ((pageIndex * pageSize) < len) {  
28.                 len = pageIndex * pageSize;  
29.             }  
30.   
31.             for (int i = index; i < len; i++) {  
32.                 JSONObject item = jsonArray.getJSONObject(i);  
33.                 String commentId = item.getString("CommentId");  
34.                 String content = item.getString("Content");  
35.                 String username = item.getString("UserName");  
36.                 String parentId = item.getString("ParentId");  
37.                 String postTime = item.getString("PostTime");  
38.                 String userface = item.getString("Userface");  
39.   
40.                 Comment comment = new Comment();  
41.                 comment.setCommentId(commentId);  
42.                 comment.setContent(content);  
43.                 comment.setUsername(username);  
44.                 comment.setParentId(parentId);  
45.                 comment.setPostTime(postTime);  
46.                 comment.setUserface(userface);  
47.   
48.                 if (parentId.equals("0")) {  
49.                     // 如果parentId为0的话，表示它是评论的topic  
50.                     comment.setType(Constants.DEF_COMMENT_TYPE.PARENT);  
51.                 } else {  
52.                     comment.setType(Constants.DEF_COMMENT_TYPE.CHILD);  
53.                 }  
54.                 list.add(comment);  
55.             }  
56.   
57.         } catch (JSONException e) {  
58.             e.printStackTrace();  
59.         }  
60.         return list;  
61.     }  

具体使用细节可以参考笔者提供的源码：http://download.csdn.net/detail/wwj_748/7912513

小巫已经把解析html的思路告诉大家啦，剩下如何来学习jsoup这个库解析html就靠你们自己去做了。下一篇博客预告，集成友盟社会化组件，详细给大家介绍如何集成友盟提供的社会化组件SDK。