仿CSDN安卓客户端（二）-----从网络上获取并解析html文件

首先先上一下安卓客户端的效果，之前是静态的图片，不够形象，上一个动态图提升一下逼格。嘿嘿

因为我们使用jsoup解析html文件，所以记得在lib里面添加一下jsoup-1.7.2.jar
下载地址:http://download.csdn.net/detail/start_baby/5132499

今天我们的任务就是从CSDN网站上获取每一个条目相应的目录列表，先贴一下代码，然后我们通过代码来理清思路

我们首先要定义一个新闻目录类，用来存储获取到的每一个新闻
NewsItem.java

public class NewsItem {

        private int id;  

        /** 
         * 标题 
         */  
        private String title;  
        /** 
         * 链接 
         */  
        private String link;  
        /** 
         * 发布日期 
         */  
        private String date;  
        /** 
         * 图片的链接 
         */  
        private String imgLink;  
        /** 
         * 内容 
         */  
        private String content;  

        /** 
         * 类型   
         *  
         */  
        private int newsType;  

        public int getNewsType()  
        {  
            return newsType;  
        }  

        public void setNewsType(int newsType)  
        {  
            this.newsType = newsType;  
        }  

        public String getTitle()  
        {  
            return title;  
        }  

        public void setTitle(String title)  
        {  
            this.title = title;  
        }  

        public String getLink()  
        {  
            return link;  
        }  

        public void setLink(String link)  
        {  
            this.link = link;  
        }  

        public int getId()  
        {  
            return id;  
        }  

        public void setId(int id)  
        {  
            this.id = id;  
        }  

        public String getDate()  
        {  
            return date;  
        }  

        public void setDate(String date)  
        {  
            this.date = date;  
        }  

        public String getImgLink()  
        {  
            return imgLink;  
        }  

        public void setImgLink(String imgLink)  
        {  
            this.imgLink = imgLink;  
        }  

        public String getContent()  
        {  
            return content;  
        }  

        public void setContent(String content)  
        {  
            this.content = content;  
        }  

        @Override  
        public String toString()  
        {  
            return "NewsItem [id=" + id + ", title=" + title + ", link=" + link + ", date=" + date + ", imgLink=" + imgLink  
                    + ", content=" + content + ", newsType=" + newsType + "]";  
        }  

    }  

定义好了数据类型，我们现在就可以放心的获取网上的数据，这样就不要担心这些数据无家可归了。下面你可以通过注释理解代码，我尽量为你解释每一行代码。

NewsItemBiz.java
package com.example.httputil;

import java.io.BufferedWriter;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStreamWriter;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;

import org.jsoup.Jsoup;


import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.example.myapplication.myApplication;

import android.content.Context;
import android.os.Handler;
import android.os.Message;
import android.provider.DocumentsContract.Document;
import android.util.Log;

public class NewsItemBiz {
    //定义一个NewsItem类型的数组
    List<NewsItem> newsItems = new ArrayList<NewsItem>();
    private int newsType;

    public NewsItemBiz() {
        // TODO Auto-generated constructor stub

/*
     * 这里我通过handler机制来控制进程的先后顺序，这是一个很必要的工作，也是我之前碰到的问题得出来的经验，问题大概是这样的：
     * 因为网络请求数据必须创建一个线程，否则会导致主UI卡死。所以我们创建了一个线程，并且将
     * 返回来的数据变成字符串的形式进行处理，然后我们在主线程中需要解析这个字符串
     * ，这时候问题就出现了，当子线程请求网络数据还没有结束的时候，主线程就已经开始解析了
     * ，这时候这个字符串肯定为空，就会产生错误，所以一定要使用这个异步消息机制
     */
    public Handler handler=new Handler()
    {
        public void handleMessage(android.os.Message msg) {

            NewsItem newsItem = null;       
            org.jsoup.nodes.Document doc = Jsoup.parse(msg.obj.toString());
            Elements units = doc.getElementsByClass("unit");
            for (int i = 0; i < units.size(); i++)
            {
                newsItem = new NewsItem();
                newsItem.setNewsType(newsType);

                Element unit_ele = units.get(i);

                Element h1_ele = unit_ele.getElementsByTag("h1").get(0);
                Element h1_a_ele = h1_ele.child(0);
                String title = h1_a_ele.text();
                String href = h1_a_ele.attr("href");
                Log.i("hello",title);
                newsItem.setLink(href);
                newsItem.setTitle(title);

                Element h4_ele = unit_ele.getElementsByTag("h4").get(0);
                Element ago_ele = h4_ele.getElementsByClass("ago").get(0);
                String date = ago_ele.text();

                newsItem.setDate(date);

                Element dl_ele = unit_ele.getElementsByTag("dl").get(0);// dl
                Element dt_ele = dl_ele.child(0);// dt
                try
                {// 可能没有图片
                    Element img_ele = dt_ele.child(0);
                    String imgLink = img_ele.child(0).attr("src");
                    newsItem.setImgLink(imgLink);
                } catch (IndexOutOfBoundsException e)
                {

                }
                Element content_ele = dl_ele.child(1);// dd
                String content = content_ele.text();
                newsItem.setContent(content);
                newsItems.add(newsItem);
            }

        };
    };
      //此函数才是真正被调用的函数，第一个参数是当前页面的类型，第二个参数是页数
    public List<NewsItem> getNewsItems( int newsType , int currentPage) throws CommonException, IOException
    {
       //通过当前页面类型和页数构造出真正的网址
        String urlStr = URLUtil.generateUrl(newsType, currentPage); 
        //将之前的数组清空
        newsItems.clear();
        doGet(urlStr);
            /*
     * 下面的while循环很有必要，因为当子线程还有没有返回字符串时，那么handler就没有办法解析html的时候，
     * 有可能你的主线程已经走到了下面的一句return
     * newsItems,那么毫无意外，你就只能得到一个空的newsItems，这就是心急吃不了热豆腐啊
     * ，所以我们就要判断newsitems是不是为空，如果是空的话，我们就用一个线程等待
     */
        while((newsItems.size()==0))
        {
            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        return newsItems;
    }

    //此函数用来获取一个网页的html数据，并将其变成字符串格式
    public void doGet(final String urlStr) throws CommonException{
        final StringBuffer sb = new StringBuffer();
        new Thread(new Runnable() {

            @Override
            public void run() {
                // TODO Auto-generated method stub
                try {
                    URL url = new URL(urlStr);
                    HttpURLConnection conn = (HttpURLConnection) url.openConnection();
                    conn.setRequestMethod("GET");
                    conn.setConnectTimeout(5000);
                    conn.setDoInput(true);
                    conn.setDoOutput(true);
                    if(conn.getResponseCode() == 200){
                        InputStream is = conn.getInputStream();
                        int len = 0;
                        byte[] buf = new byte[1024];
                        while((len = is.read(buf)) != -1){
                             sb.append(new String(buf, 0, len, "UTF-8"));
                        }
                        Message message =new Message();
                        message.obj=sb;
                        handler.sendMessage(message);
                        is.close();
                    }else{
                        throw new CommonException("访问网络失败00");
                    }

                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                    try {
                        throw new CommonException("访问网络失败11");
                    } catch (CommonException e1) {
                        // TODO Auto-generated catch block
                        e1.printStackTrace();
                    }
                }
            }
        }).start();
    }     
}

下面开始测试一下上面的NewsItemBiz类，特别注意使用上面类，要使用异步任务，因为在主线程中获取List耗了很长的时间，如果不使用，会导致UI线程卡死，不信的话，你可以试一试哦，我把我之前没有用异步任务的代码也列在了下面，方便你比较这两者的差别吧！

public class secondFragment extends android.support.v4.app.Fragment{
    public View onCreateView(LayoutInflater inflater, ViewGroup container,
            Bundle savedInstanceState) {
        // TODO Auto-generated method stub
        View v=inflater.inflate(R.layout.secondfragment, container,false);
        Button button=(Button)v.findViewById(R.id.send);
        button.setOnClickListener(new OnClickListener() {

            @Override
            public void onClick(View v) {               
                new LoadDatasTask().execute();
//下面就是我之前在主线程中使用的代码，你只需将下面带//的去除，将上面一行加上//
//              NewsItemBiz newitembiz=new NewsItemBiz();
//              List<NewsItem> item=new ArrayList<NewsItem>();
//              try {
//                  try {
//                      item=newitembiz.getNewsItems(3, 2); 
//                      for (NewsItem newsItem : item) {
//                          Log.i("msg", newsItem.getContent()); 
//                  }
//                  } catch (CommonException e) {
//                      // TODO Auto-generated catch block
//                      e.printStackTrace();
//                  }
//              }  catch (IOException e) {
//                  // TODO Auto-generated catch block
//                  e.printStackTrace();
//              }   
            }
        });
        return v;
}

    class LoadDatasTask extends AsyncTask<Void, Void, Void> {
        public NewsItemBiz newitembiz=new NewsItemBiz();
        public List<NewsItem> item=new ArrayList<NewsItem>();
        protected void onPostExecute(Void result) {         
            for (NewsItem newsItem : item) {
                Log.i("msg", newsItem.getContent()); 
        }
        }

        @Override
        protected Void doInBackground(Void... params) {
            // TODO Auto-generated method stub
            try {
                try {
                    item=newitembiz.getNewsItems(3, 2);         
                } catch (CommonException e) {
                    e.printStackTrace();
                }
            }  catch (IOException e) {          
                e.printStackTrace();
            }       
            return null;
        }
    }
}

效果图还是要上一下的，不然说我骗人就不好了

点击上面的send，然后观察logcat中的结果

这一节关于从网络上获取并解析html文件我们就先讲到这里，看别人做一万遍，也不如自己做一遍，自己试着做一遍吧！相信自己，你可以的，加油！