haoop执行reduce后合并结果文件

/**
  * @param args
  * @throws Exception
  */
 public static void main(String[] args) throws Exception {
  int ret = ToolRunner.run(new Patent(), args);
  doMerge(new Path("/output/patents"),new Path(
    "/output/result/patents/result.txt"));

  System.exit(ret);
 }
 
 private static void doMerge(Path srcPath ,Path destFile) throws IOException
 {
  Configuration conf = new Configuration();
  FileSystem fs = FileSystem.get(conf);

  FSDataOutputStream out = fs.create(destFile);
  FileStatus[] srcs = fs.listStatus(srcPath,
    new PathFilter() {
     @Override
     public boolean accept(Path path) {
      return path.getName().startsWith("part-");
     }
    });
  try {
   for (FileStatus src : srcs) {
    if (src.isFile()) {
     FSDataInputStream in = fs.open(src.getPath());
     try {
      IOUtils.copyBytes(in, out, conf, false);
     } finally {
      in.close();
     }
    }
   }
  } finally {
   out.close();
  }
 }

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值