使用java的爬虫策略获取京东评论

原创 2016年08月30日 18:15:33

前言

习惯了python的爬虫,当重新使用回Java来爬虫时,显得十分的陌生.当然这不是为了好玩,在需要快速爬取大量的评论的情况下,python的性能不及于java.我小规模的测试,大概python的平均爬取网页的时间为0.3秒,而java为0.1秒~0.2秒.因此,为了高效地我还是选回了java.

爬虫演示代码

感谢知乎网友的无私奉献,我得到了爬取评论的链接:http://club.jd.com/productpage/p-2441288-s-0-t-0-p-0.html
第一个p后面的参数是商品的id, s为评论的类型(追加与不追加),t暂时还不知道,p为页数

public String call (String url){
            String content = "";
            BufferedReader in = null;
            try{
                URL realUrl = new URL(url);
                URLConnection connection = realUrl.openConnection();    //请求连接
                connection.connect();
                in = new BufferedReader(new InputStreamReader(connection.getInputStream(),"gbk"));  //注意网页的编码
                String line ;
                while ((line = in.readLine()) != null){
                    content += line + "\n";
                }
            }catch (Exception e){
                e.printStackTrace();
            }
            finally{
                try{
                    if (in != null){
                        in.close();     // 数据流请求完,要关闭,避免资源空间的浪费
                    }
                }catch(Exception e2){
                    e2.printStackTrace();
                }
            }
            return content;
        }
版权声明:本文为博主原创文章,未经博主允许不得转载。

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

基于java的网络爬虫框架(实现京东数据的爬取,并将插入数据库)

目录网络爬虫框架 网络爬虫的逻辑顺序 网络爬虫实例教学 model main util parse db 再看main方法 爬虫效果展示网络爬虫框架写网络爬虫,一个要有一个逻辑顺序。本文主要讲解我自己...

[爬虫]使用python抓取京东全站数据(商品,店铺,分类,评论)

一、环境 OS:win10 python:3.5 scrapy:1.3.2 pymongo:3.2 pycharm 环境搭建,自行百度二、数据库说明1. 产品分类京东大概有1183个分类,这是除去了一...

京东网站评论抽取的爬虫程序

  • 2010年04月20日 11:51
  • 1.61MB
  • 下载

基于Scrapy的爬虫爬取京东商品信息与评论

总体概述 从京东搜索框搜索进入手机进入页面,爬取内容分成两类,一类是手机的基本信息(标题、价格、链接),另一类是评论信息(用户名、评论内容、评论总数等),将信息爬取下来之后,进行数据处理,以方便显示和...

爬取京东商品评论的爬虫源码

  • 2016年05月21日 12:46
  • 14KB
  • 下载

手把手教你写电商爬虫-第五课 京东商品评论爬虫 一起来对付反爬虫

系列教程: 手把手教你写电商爬虫-第一课 找个软柿子捏捏 手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫 手把手教你写电商爬虫-第三课 实战尚妆网AJAX请求处理和内容提取 手把手教你写...

使用python爬取京东评论(json)

任务:爬取京东某手机的评论这次爬取的内容是动态的所以不能直接爬源代码中的内容 打开网页按下F12在Network里找到productPageComments文件 打开这个文件 这个文件是由json保存...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:使用java的爬虫策略获取京东评论
举报原因:
原因补充:

(最多只允许输入30个字)