常见big data面试题（1）

大数据研发岗位常见面试题
1.简单介绍项目，在纸上画出项目的架构图

2.简单介绍mapReduce原理，有没有看过源码，说说map阶段怎么实现的

大规模数据处理时，MapReduce在三个层面上的基本构思
1）如何对付大数据处理：分而治之（对相互间不具有计算依赖关系的大数据，实现并行最自然的办法就是采取分而治之的策略）
什么样的计算任务可进行并行化计算？
并行计算的第一个重要问题是如何划分计算任务或者计算数据以便对划分的子任务或数据块同时进行计算。但一些计算问题恰恰无法进行这样的划分！
例如：Fibonacci函数: Fk+2 = Fk + Fk+1
前后数据项之间存在很强的依赖关系！只能串行计算！
结论：不可分拆的计算任务或相互间有依赖关系的数据无法进行并行计算！

大数据的并行化计算：一个大数据若可以分为具有同样计算过程的数据块，并且这些数据块之间不存在数据依赖关系，则提高处理速度的最好办法就是并行计算。
例如：假设有一个巨大的2维数据需要处理(比如求每个元素的开立方)，其中对每个元素的处理是相同的,并且数据元素间不存在数据依赖关系,可以考虑不同的划分方法将其划分为子数组,由一组处理器并行处理。


2）上升到抽象模型：Mapper与Reducer(MPI等并行计算方法缺少高层并行编程模型，为了克服这一缺陷，MapReduce借鉴了Lisp函数式语言中的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型)

Map: 对一组数据元素进行某种重复式的处理
Reduce: 对Map的中间结果进行某种进一步的结果整

关键思想：为大数据处理过程中的两个主要处理操作提供一种抽象机制
MapReduce中的Map和Reduce操作的抽象描述
MapReduce借鉴了函数式程序设计语言Lisp中的思想，定义了如下的Map和Reduce两个抽象的编程接口，由用户去编程实现:
map: (k1; v1) → [(k2; v2)]
输入：键值对(k1; v1)表示的数据
处理：文档数据记录(如文本文件中的行，或数据表格中的行)将以“键值对”形式传入map函数；map函数将处理这些键值对，并以另一种键值对形式输出处理的一组键值对中间结果[(k2; v2)]
输出：键值对[(k2; v2)]表示的一组中间数据
—reduce: (k2; [v2]) → [(k3; v3)]
输入： 由map输出的一组键值对[(k2; v2)] 将被进行合并处理将同样主键下的不同数值合并到一个列表[v2]中，故reduce的输入为(k2; [v2])
处理：对传入的中间结果列表数据进行某种整理或进一步的处理,并产生最终的某种形式的结果输出[(k3; v3)]。
输出：最终输出结果[(k3; v3)]
http://www.cnblogs.com/archimedes/p/mapreduce-principle.html
3) 上升到构架：统一构架，为程序员隐藏系统层细节(MPI等并行计算方法缺少统一的计算框架支持，程序员需要考虑数据存储、划分、分发、结果收集、错误恢复等诸多细节；为此，MapReduce设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节)

3.HBase行键怎么设计？
原则：1）长度越短越好；2）唯一性；3）散列表