Hadoop入门之几个Demo的加强版本

最新推荐文章于 2024-03-29 09:50:05 发布

当以乐

最新推荐文章于 2024-03-29 09:50:05 发布

阅读量543

点赞数

分类专栏： hadoop Hadoop从入门到精通

本文链接：https://blog.csdn.net/sqh201030412/article/details/77585321

版权

本文将对昨天的Hadoop MapReduce三个代码Demo进行加强，包括在序列化统计基础上的进一步MR操作，以及在文件字符统计中应用多个自定义过程，如Shuffle阶段的combiner合并和分片过程中的小文件合并。

摘要由CSDN通过智能技术生成

昨天写了三个MR的代码Demo,今天再对其加强一下:

1.在使用序列化统计流程的基础上,再次进行MR操作

package com.demo.flowsumsort;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 * 
 * @Description: 根据总流量进行排序
 * @author: songqinghu
 * @date: 2017年8月24日 下午8:04:21
 * Version:1.0
 */
public class FlowSumSort {

    
    public static void main(String[] args) throws Exception {
        
        Configuration conf = new Configuration();
        
        Job job = Job.getInstance(conf);
        
        job.setJarByClass(FlowSumSort.class);
        
        job.setMapperClass(FlowSumMapper.class);
        job.setReducerClass(FlowSumReducer.class);
        
        job.setMapOutputKeyClass(Flow.class);
        job.setMapOutputValueClass(Text.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Flow.class);
        
        
        //文件路径设置
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        
        boolean flag = job.waitForC