Java 爬取影评内容

1. 根据网址和页面编码获取网页源码
2. 解析源码 批量采集影评数据 jsoup

Document doc = Jsoup.parse(html);
Element ele = doc.getElementById(""); //外层div id
Elements eles = ele.getElementByClass("");//模板 class
for (Element element : eles){
    //获取a标签的text文本
    String n = element.getElementsByTag("a").text();
    //多个a标签  ByTag("a").last().text();  通过数组下标进行抓取
    String dsc = element.getElementsByTag("p").text();
    String time =element.getElementsByClass("comment-time").text();
}

//分页   --- get请求 动态构造URL上的 start limit 参数

3. 存储在本地文件系统
4. 同步到Hadoop HDFS 分布式文件系统中

 初始化Hadoop
   Configuration conf = new Configuration();
   conf.set("fs.defaultFS","hdfs://192.168.1.88:8020");
   FileSystem fs = null;
   fs = FileSystem.get(new URL("hdfs://192.168.1.88:8020"),conf,"hdfs");
   fs.copyFromLocalFile(new Path("d:\\test\data.txt"),new Path("/array_douban"));