Hadoop进阶经典案例总结

一，以hdfs路径/tmp/table/student_score.txt为输入，表结构为（学号，姓名，课程名称，成绩），字段间分隔符为tab，如下图所示。通过设置reduce个数为2，自定义hash partition实现将其中姓名为"张一"的放到同一个reduce中，非张一的放到其它的reduce中，输出结果字段为（学号，姓名，课程名称，成绩），按tab分隔即可。

 具体实现代码（java部分）：

package com.hadoop.mr.homework2;

import com.hadoop.ReadFromHdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Partitioner;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

import java.io.IOException;
import java.util.Arrays;
import java.util.HashSet;
import java.util.List;
import java.util.Set;

public class HomeWork2 {
    // 设计kv
    // key 就是学号
    // value 除了学号之外的其它内容
    public static class HomeWork2Mapper extends Mapper<Object, Text, Text, Text> {
        @Override
        protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String[] valueArr = value.toString().split("\t");
            // 第一项就是学号   valArr[0]是key ，剩下的是value
            // 剩下的就是其它的内容      通过for循环依次赋给自定义的String类型的val
            String val = "";
            for (int i = 1; i < valueArr.length; i++) {
                val += valueArr[i];
                if (i != valueArr.length - 1) {
                    val += "\t";
                }
            }
            con