大数据面试题

搜集了一些面试题，这里汇总下。
1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解

2.hdf文件系统中Namenode和DataNode区别和联系

3.请描述Spark RDD中的transform和action的理解?
4.两个类TextInputFormat和KeyValueInputFormat的区别是什么？

5.在hadoop任务中，什么是inputsplit？

6.hadoop框架中文件拆分是怎么被调用的？

7.参考下面的MR系统场景：
hdfs块大小为64M
输入类型为：64M
有三个大小的文件，分别为64KB，65MB，127MB
hadoop文件会被这些文件拆分为多少split?

8.hadoop文件中，RecordReader的作用是什么？

9.Map阶段结束后，Hadoop框架会处理：Partitioning,shuffle,和Sort，在这个阶段都发生了什么？

10.如果没有定义Partitioner，那数据在没有被送达reducer之前是如何被分区的？

11.什么是combiner？

12.分别举例什么情况下会使用combiner，什么情况下不会使用？

13.以下操作是属于窄依赖的spark transformation的是
(A) Rdd.map  (B)rdd.count (C)rdd.filter (D)rdd.reducebykey

14.在Hadoop中定义的主要公用inputFormats中，哪一个是默认值（A）TextInputFormat
（B）KeyValueInputFormat
（C）SequenceFileInputFormat

15.请写出下面代码执行后A1和B1的值
val books=List("Hadoop","Hive","HDFS")
val A1=books.map(a->a.toUpperCase())
val B1=books.flatMap(a->a.toUpperCase())