网络编程笔记二：一个java爬虫的实现（静态页面）

这一份博客直接贴代码了，因为：），作为平时的学习我习惯写完代码后反观一次，做比较详细的注释。

在这里BB一句，有时候我们学点东西之前总会正儿八经正襟危坐地问啊问啊“怎么入门怎么入门怎么入门呢”。个人有点小感慨：边学边做就是很好的开始，特别是有一个任务有一个目的地学习，知识就是个无向循环图，你可能会为了一个任务，不说“学到”，你也会接触到很多其它方面的知识，你以前学过的东西也都铺垫成你追求其它知识的道路。所以不要再喊着“入门”了直接上路吧！

比如说，下面我们来爬取豆瓣影评（静态页面，即还不去处理由js来承载的评论），然后我们就接触到了一点服务端与客户端交互的知识，一点有关于java流的东西，一点正则的东西 (每一个这样的括号（.*?)都对应了要提取的部分）

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Spider {

    public static String SendGet(String url, String decode){
        //定义一个字符串用来存储网页内容
        String result = "";
        //定义一个缓冲字符输入流
        BufferedReader in = null; //为什么要用buffered，因为是可追加的。为什么不用byte，因为是定长的。若未超长则可追加，若超长了则不能追加
        try{
            //将string 转成url对象
            URL realUrl = new URL(url);
            //初始化一个链接到那个url的连接
            URLConnection connection = realUrl.openConnection();
            //开始实际的连接
            connection.connect();
            //初始化bufferedReader输入流来读取url的响应
            in = new BufferedReader(new InputStreamReader(
                    connection.getInputStream(), decode));
            //用来临时存储抓取到的每一行数据
            String line;
            while((line = in.readLine()) != null){
                //遍历抓取到的每一行都放到result中去
                result += line;
            }
        } catch (Exception e){
            System.out.println("something wrong when sending GET requirement! " +e);
            e.printStackTrace();
        }
        //无论成功与否，用finally来关闭输入流
        finally{
            try{
                if(in != null){
                    in.close();
                }
            } catch(Exception e2){
                e2.printStackTrace();
            }
        }
        return result;
    }

    public static String RegexString(String targetStr, String patternStr){
        //定义一个样式模板，此中使用正则表达式，括号中是要抓的内容
        Pattern pattern = Pattern.compile(patternStr);
        //定义一个matcher用来做匹配
        Matcher matcher = pattern.matcher(targetStr);
        if(matcher.find()){
            String res = "";
            for(int i = 0; i <= matcher.groupCount(); i ++){
                res = res + matcher.group(i) + " ";
            }
            return res;
        }
        return "Nothing";
    }

    public static void GetDouBan(String content){
        //ArrayList<douban> results = new ArrayList<douban>();
        Pattern pattern = Pattern.compile("subject-title.*?>(.*?)<.*?allstar(.*?)0 main-title-rating.*?short-content\">(.*?)<"); //正则表达式匹配我们需要的地方
        Matcher matcher = pattern.matcher(content);
        boolean isfind = matcher.find();
        while(isfind){  
        //group(0）取出的是全部内容
            System.out.println("name: " + matcher.group(1));
            System.out.println("score: " + matcher.group(2));
            System.out.println("comment: " + matcher.group(3));
            isfind = matcher.find();
        }

    }
    /**/
    public static void main(String[] args) {

        String url = "https://movie.douban.com/review/best/";
        String result = SendGet(url, "utf-8");
        GetDouBan(result);

        }

}