Java 爬虫解决readline 读取缓慢问题

传统的使用URLconnection做连接之后通常使用in.readline()来获取网页代码。显而易见的是这种方法效率奇低。我简单的做了一下比较

    Python  time：0.205786745268 s =205ms

    传统 readline（） time: 1975ms

    charBuffer time: 265 ms

try {
                    // 将string转成url对象
                    URL realUrl = new URL(surl);
                    // 初始化一个链接到那个url的连接
                    URLConnection connection = realUrl.openConnection();
                    // 开始实际的连接
                    connection.connect();
                    // 初始化 BufferedReader输入流来读取URL的响应
                    in = new BufferedReader(new InputStreamReader(connection.getInputStream()));
                    // 用来临时存储抓取到的每一行的数据
                    String line;
                    long startMili=System.currentTimeMillis();// 当前时间对应的毫秒数
//                  while ((line = in.readLine()) != null) {
//                      // 遍历抓取到的每一行并将其存储到result里面
//                      Log.i(">>line",line);
//                      result += line + "\n";
//                  }
                    CharBuffer bos = CharBuffer.allocate(20480);
                    int read = 0;
                    StringBuilder builder = new StringBuilder();
                    try {
                        while (in.read(bos) != -1) {
                            bos.flip();
                            builder.append(bos.toString());
                        }
                    } catch (IOException e1) {
                        e1.printStackTrace();
                    }
                    //System.out.println(builder.toString());
                    result=builder.toString();
                    //写入byte数组中。再依次读取出来即可。
                    //System.out.print(result);
                    long endMili=System.currentTimeMillis();// 当前时间对应的毫秒数

                    Log.i(">>time1","总耗时为："+(endMili-startMili)+"毫秒");
                } catch (Exception e) {
                    Log.i(">>>parsing","发送GET请求出现异常！" + e);
                    e.printStackTrace();
                }
                // 使用finally来关闭输入流
                finally {
                    try {
                        if (in != null) {
                            in.close();
                        }
                    } catch (Exception e2) {
                        e2.printStackTrace();
                    }
                    finally {
                        TAG=true;
                    }
                }
            }

孰优孰劣简单易得，在能够大致预见网页大小的时候，很明显使用charBuffer效率高出了10多倍。

github 地址 https://github.com/panyunyi97/CUFE_TRIP 欢迎观光&& star