Mapreduce基础1

1、mapreduce的定义

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

MapReduce的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

2、mapreduce的核心思想

MapReduce的核心思想是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。

Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。（可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。）

Reduce负责“合”，即对map阶段的结果进行全局汇总。

这两个阶段合起来正是MapReduce思想的体现。

3、mapreduce编程模型

MapReduce由两个阶段组成：Map阶段（切分成一个个小的任务）；Reduce阶段（汇总小任务的结果）。

Map阶段

• map阶段有一个关键的map()函数；
• 此函数的输入是键值对；
• 输出是一系列键值对，输出写入本地磁盘。

Reduce阶段

• reduce阶段有一个关键的函数reduce()函数；
• 此函数的输入也是键值对（即map的输出（kv对））；
• 输出也是一系列键值对，结果最终写入HDFS。

Map&Reduce（job组装整个任务）

4、mapreduce编程指导思想

mapReduce编程模型的总结：

MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤。

Map阶段2个步骤

第一步：设置InputFormat类，将我们的数据切分成key/value对，输入到第二步；

第二步：自定义map逻辑，处理我们第一步的输入数据，然后转换成新的key/value对进行输出。

shuffle阶段4个步骤

第三步：对输出的key/value对进行分区。相同key的数据发送到同一个reduce里面去，相同的key合并，value形成一个集合。

第四步：对不同分区的数据按照相同的key进行排序；

第五步：对分组后的数据进行规约（combine操作），降低数据的网络拷贝（可选步骤）

第六步：对排序后的数据进行分组，分组过程中将相同key的value放到一个集合中；

reduce阶段2个步骤

第七步：对多个map的任务进行合并，排序，写reduce函数自己的逻辑，对输入的key/value对进行处理，转换成新的key/value对进行输出；

第八步：设置OutPutFormat将输出的key/value对保存到文件中。

 

5、hadoop当中常用的数据类型（10种）

常用的数据类型对应的Hadoop数据序列化类型

Java类型	Hadoop Writable类型
Boolean	BooleanWritable
Byte	ByteWritable
Int	IntWritable
Float	FloatWritable
Long	LongWritable
Double	DoubleWritable
String	Text
Map	MapWritable
Array	ArrayWritable
byte[]	BytesWritable

 

6、mapreduce的运行模式

本地模式

1. MapReduce程序是被提交给LocalJobRunner在本地以单进程的形式运行；
2. 而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上；
3. 实现本地运行：写一个程序，不要带集群的配置文件，本质是程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname=local参数。
4. 本地模式非常便于进行业务逻辑的debug，之哟啊在代码中打断点即可。

本地模式运行代码设置：

configuration.set(“mapreduce.fframework.name”,”local”);

configuration.set(“yarn.resourcemanager.hostname”,”local”);

TextInputFormat.addInputPath(job,new Path(“file:///d:input”));

TextOutputFormat.setOutputPath(job,new Path(“file:///d:output”));

集群运行模式

1. 将MapReduce程序提交给yarn集群，分发到很多的节点上并发执行；
2. 处理的数据和输出结果应该位于hdfs文件系统；
3. 提交集群的实现步骤：

将程序达成jar包，然后在集群的任意一个节点上用hadoop命令启动

Yarn jar hadoop_hdfs_operate-1.0-SANPSHOT.jar com.kkb.hdfs.demo1.JobMain