关闭

使用java的爬虫策略获取京东评论

标签: java爬虫京东
963人阅读 评论(0) 收藏 举报
分类:

前言

习惯了python的爬虫,当重新使用回Java来爬虫时,显得十分的陌生.当然这不是为了好玩,在需要快速爬取大量的评论的情况下,python的性能不及于java.我小规模的测试,大概python的平均爬取网页的时间为0.3秒,而java为0.1秒~0.2秒.因此,为了高效地我还是选回了java.

爬虫演示代码

感谢知乎网友的无私奉献,我得到了爬取评论的链接:http://club.jd.com/productpage/p-2441288-s-0-t-0-p-0.html
第一个p后面的参数是商品的id, s为评论的类型(追加与不追加),t暂时还不知道,p为页数

public String call (String url){
            String content = "";
            BufferedReader in = null;
            try{
                URL realUrl = new URL(url);
                URLConnection connection = realUrl.openConnection();    //请求连接
                connection.connect();
                in = new BufferedReader(new InputStreamReader(connection.getInputStream(),"gbk"));  //注意网页的编码
                String line ;
                while ((line = in.readLine()) != null){
                    content += line + "\n";
                }
            }catch (Exception e){
                e.printStackTrace();
            }
            finally{
                try{
                    if (in != null){
                        in.close();     // 数据流请求完,要关闭,避免资源空间的浪费
                    }
                }catch(Exception e2){
                    e2.printStackTrace();
                }
            }
            return content;
        }
0
1

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:51661次
    • 积分:1088
    • 等级:
    • 排名:千里之外
    • 原创:57篇
    • 转载:2篇
    • 译文:1篇
    • 评论:18条
    最新评论