13.Hadoop之MapReduce（一）计算框架

计算框架：

MapReduce计算框架
是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。

并行计算框架
一个大的任务拆分成多个小任务，将多个小任务分布到多个节点上。每个节点同时计算

Hadoop为什么比传统技术方案快
1.分布式存储
2.分布式并行计算
3.节点横向扩展
4.移动程序到数据端
5.多个数据副本

MapReduce核心思想
分而治之，先分后和：将一个大的、复杂的工资或者任务，并行处理，最终进行合并
MapReduce由MapReduce组成
Map：将数据进行拆分
Reduce：对数据进行汇总

WordCount计算
计算每个单词出现的次数

原始数据

zhangsan,lisi,wangwu
zhaoliu,maqi
zhangsan,zhaoliu,wangwu
lisi,wangwu

期望的最终

zhangsan 2
lisi 2
wangwu 3
zhaoliu 2
maqi 1

偏移量

每个字符移动到当前文档的最前面需要移动的字符个数。

hadoop数据类型

java : int long double float boolean string
hadoop : IntWritable LongWritable DoubleWritable FloatWritable BooleanWritable Text

WordCount-Map实现

1、实例一个class 继承Mapper<输入的key的数据类型，输入的value的数据类型，输出的key的数据类型，输出的
value的数据类型，>
2、重写map方法 map(LongWritable key, Text value, Context context)
key: 行首字母的偏移量
value: 一行数据
context：上下文对象
3、根据业务需求进行切分，然后逐一输出

WordCount-Reduce实现

1、实例一个class 继承Reducer<输入的key的数据类型，输入的value的数据类型，输出的key的数据类型，输出的
value的数据类型，>
2、重写reduce方法 reduce(Text key, Iterable values, Context context)
key: 去重后单词
values： 标记的1（好多个1，key出现几次就有几个1）
context：上下文对象
3、遍历values 进行汇总计算

WordCount-Driver实现

1、实例一个class 继承Configured 实现Tool
2、重写run方法
3、在run方法中将自己编写的map和reduce添加到集群
//1、实例一个Job
Job job=Job.getInstance(new Configuration(),“WordCount12”);
//2、 设置读取数据的class
job.setInputFormatClass(TextInputFormat.class);
4、在main方法中调用执行。
//设置读取数据的路径
TextInputFormat.addInputPath(job,new Path(“C:\bbb.txt”));
//3、设置Map
job.setMapperClass(WordCountMap.class);
//设置map输出的类型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(LongWritable.class);
//4、设置reduce代码
job.setReducerClass(WordCountReduce.class);
//设置reduce输出的类型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
//5、设置读输出数据的class
job.setOutputFormatClass(TextOutputFormat.class);
//设置输出数据的路径
TextOutputFormat.setOutputPath(job,new Path(“C:\ccc.txt”));
//6、等待代码执行（返回状态码）
return job.waitForCompletion(true)?