mapreducer--1

1.什么是mapreducer?优点和缺点？
Mapreduce 分布式编程框架
优点
易于编程（实现一些接口）
良好扩展性（简单增加机器）
高容错性
离线处理
缺点：
不擅长实时计算
不擅长流式计算
不擅长DAG计算（有向图）因为造成大量磁盘io
2.mapreducer编程思想
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果
　在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，一般运行在NameNode机器上；TaskTracker是用于执行工作的，负责在节点DataNode上执行具体的分布式任务的计算。一个Hadoop集群中只有一台JobTracker。
MapReduce主要是分为map和reduce，map负责把任务分解成多个任务，reduce负责把分解后多任务处理的结果汇总（combine）起来。
3.mapreducer 进程

4.常用数据序列化类型

5.hadoop 序列化
什么是序列化？

6.为什么不用java 序列化？

7.自定义bean对象实现序列化接口（Writable）
具体实现bean对象序列化步骤如下7步。
（1）必须实现Writable接口
（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造
public FlowBean() {
super();
}
（3）重写序列化方法
@Override
public void write(DataOutput out) throws IOException {
out.writeLong(upFlow);
out.writeLong(downFlow);
out.writeLong(sumFlow);
}
（4）重写反序列化方法
@Override
public void readFields(DataInput in) throws IOException {
upFlow = in.readLong();
downFlow = in.readLong();
sumFlow = in.readLong();
}
（5）注意反序列化的顺序和序列化的顺序完全一致
（6）要想把结果显示在文件中，需要重写toString()，可用”\t”分开，方便后续用。
（7）如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框中的Shuffle过程要求对key必须能排序。详见后面排序案例。
@Override
public int compareTo(FlowBean o) {
// 倒序排列，从大到小
return this.sumFlow > o.getSumFlow() ? -1 : 1;
}
8.MapReduce框架原理
1.InputFormat数据输入
切片与MapTask并行度决定机制
MapTask并行度决定机制
数据块：Block是HDFS物理上把数据分成一块一块。
数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。

一个切片就是一个map task.
job提交流程源码

2.fileInputformat 切片源码

3.Fileinputformat 切片机制

CombineTextInputFormat切片机制
框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask，这样如果有大量小文件，就会产生大量的MapTask，处理效率极其低下。
1、应用场景：
CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理
虚拟存储切片最大值设置
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m
注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。
3、切片机制
生成切片过程包括：虚拟存储过程和切片过程二部分。

FileInputFormat 实现类
1.TextInputFormat是fileInputFormat 实现类。键是存储该行在整个文件中起始字节偏移量。longwritable类型Text类型。

2.keyvalueTextInputFormat 被分隔符划分为key,value。

3.NlineInputFormat
按照指定的n来划分，输入文件的总数/n=切片数，不整除，切片数=商+1.

Mapredce 工作流程

注意：到了80%就开始是溢写，从内存到磁盘，把数据写入到磁盘中，左边写索引和分区标志位。右边写数据k,v。先分区后排序，排序是内部排序，排序手段是快排。分区一到reduce一，分区二到reduce二,字典排序，手段是快排，9.序列化到磁盘。

shuffle

Partition 分区
分区按照不同的条件统计

默认是hashpartition