一个简单的网络爬虫程序

import java.io.*;
import java.net.*;
public class RetrivePage {
    public static void main(String[] args) {
     // 定义即将访问的链接
        String url = "http://www.baidu.com";
        // 定义一个字符串用来存储网页内容
        String result = "";
        // 定义一个缓冲字符输入流
        BufferedReader in = null;
        try {
         // 将string转成url对象
         URL realUrl = new URL(url);
         // 初始化一个链接到那个url的连接
         URLConnection connection = realUrl.openConnection();
         // 开始实际的连接
         connection.connect();
         // 初始化 BufferedReader输入流来读取URL的响应
         in = new BufferedReader(new InputStreamReader(
           connection.getInputStream()));
         // 用来临时存储抓取到的每一行的数据
         String line;
         while ((line = in.readLine()) != null) {
          //遍历抓取到的每一行并将其存储到result里面
          result += line;
         }
        } catch (Exception e) {
         System.out.println("发送GET请求出现异常！" + e);
         e.printStackTrace();
        }
        // 使用finally来关闭输入流
        finally {
         try {
          if (in != null) {
           in.close();
          }
         } catch (Exception e2) {
          e2.printStackTrace();
         }
        }
        System.out.println(result);
       }
    }