首先看mapreduce流程:
除去输入和输出之后,数据计算只有三个步骤,map,combine,reduce,其中只有map和reduce过程是必要过程,combine若不设置可以略过这一计算过程
首先map过程从数据源读取数据,根据设置的mapper数多个核心同时读取数据,然后在combine过程对每个mapper进行聚合处理操作,map和combine过程输出的数据,将会进行一次重分区shuffle过程,将数据全聚合后根据规则再进行分区放入Reducer中进行计算,默认是根据默认设置的分区数然后计算数据key的哈希值进行分区(数据都是key-value形式),此时可能会存在数据倾斜操作,即当中一些reducer需要处理的数据量极大,而一些处理的数据极小,这些就需要优化过程,这里暂时不谈。最后在输出时,每个reducer对应一个输入源
整个mapreduce便是上述流程,编码过程就容易理解了:
源数据输入mapper,输出到combine(不必要),再从combiner输出到reducer,最后reducer输出
可见mapper的输出类型时combiner的输入类型,mapper和combiner的输出类型时reducer得到输入类型,并且数据都是key-value形式传输
然后mapper类和reducer类,的参数都是如下参数格式<输入key,输入value,输出value,输出key>,注意combiner也是继承自reducer类
注意,初始化输入给mapper的类,key才是从源数据读取到的数据,value时数据偏移量(若是文本文字,即是与第一个位置偏差值)信息
最后编写时候,需要实现tool类重写run方法,并且设置hadoop的参数,可以继承configured类自动加载配置文件中的hadoop配置(此时一定要将配置文件放到工程配置文件目录中)。
run方法中只需要记录一下步骤即可,创建Job类,设置需要运行的class,并且设置好configuration类,设置输入类型和路劲,设置mapper输出类型,设置combiner输出类型,设置reducer输出类型,设置输出类型和路径。
注意:会有人奇怪我什么不设置mapper、combiner、reducer输入类型,上述文字已说过,因为流程的上一步的输出类型即是下一步的输入类型,所以路劲的输出类型即是mapper的输入类型,combiner、reducer同样如此。
以下是一个mapreduce实现wordcount的案例,最后打成jar包,扔到hadoop执行即可。
1 package mapreduce;
2
3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.fs.Path; 5 import org.apache.hadoop.io.IntWritable; 6 import org.apache.hadoop.io.LongWritable; 7 import org.apache.hadoop.io.Text; 8 import org.apache.hadoop.mapreduce.Job; 9 import org.apache.hadoop.mapreduce.Mapper; 10 import org.apache.hadoop.mapreduce.Reducer; 11 import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 12 import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 13 14 import java.io.IOException; 15 import java.util.Iterator; 16 import java.util.StringTokenizer; 17 18 public class MyMapReduce { 19 //1自己的map类 20 //继承mapper类,<输入key,输入value,输出value,输出key> 21 public static class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> { 22 //每个key设置输出value为1 23 IntWritable i = new IntWritable(1); 24 Text keyStr = new Text(); 25 26 @Override 27 protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { 28 //TextInputFormat是Hadoop默认的数据输入格式,但是它只能一行一行的读记录 29 30 StringTokenizer itr = new StringTokenizer(value.toString()); 31 while (itr.hasMoreTokens()) { 32 keyStr.set(itr.nextToken()); 33 context.write(keyStr, i); 34 } 35 36 } 37 } 38 39 //2自己的reducer类 40 //继承reducer类,<输入key,输入value,输出value,输出key> 41 //reducer类的输入,就是mapper的输出 42 //mapper类map方法的数据输入到Reduce类group方法中,对key的value进行分组得到values,再放入reduce方法中 43 public static class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> { 44 IntWritable countWritable = new IntWritable(); 45 46 @Override 47 protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { 48 String keyStr = key.toString(); 49 //在map中每个key对应的value为1, 50 //那么reduce每个key对应的集合便是重复key的个数的长度,并且每个值为1 51 //即集合元素值相加即为key的数量 52 int count = 0; 53 Iterator<IntWritable> it = values.iterator(); 54 while (it.hasNext()) { 55 count += it.next().get(); 56 } 57 countWritable.set(count); 58 System.out.println(keyStr + "---" + count); 59 context.write(key, countWritable); 60 } 61 } 62 63 //3运行类 64 public int run(String[] args) throws Exception { 65 //hadoop配置上下文 66 Configuration conf = new Configuration(); 67 //这里要是没有把配置文件放入resources中,需要手动添加配置文件,或者添加配置参数 68 // conf.addResource("core-site.xml"); 69 // conf.addResource("hdfs-site.xml"); 70 //通过上下文构建job实例,并传入任务名称 71 Job job = Job.getInstance(conf, this.getClass().getSimpleName()); 72 //设置reduce数量 73 job.setNumReduceTasks(3); 74 //必须添加,否则本地运行没问他,服务器报错 75 job.setJarByClass(MyMapReduce.class); 76 //设置任务读取数据 77 //调用时传入参数,第一个参数为路径输入参数 78 Path inputPath = new Path(args[0]); 79 FileInputFormat.addInputPath(job, inputPath); 80 81 //调用时传入参数,第二个参数为路径输出参数 82 Path outputPath = new Path(args[1]); 83 FileOutputFormat.setOutputPath(job, outputPath); 84 85 //设置mapper类参数 86 job.setMapperClass(MyMapper.class); 87 job.setMapOutputKeyClass(Text.class); 88 job.setMapOutputValueClass(IntWritable.class); 89 90 //设置reducer类参数 91 job.setReducerClass(MyReducer.class); 92 job.setOutputKeyClass(Text.class