大数据常见面试题目

  每天在在技术群里沉水,搜刮些面试题目,留作备用~

1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解

2.hdf文件系统中Namenode和DataNode区别和联系

3.请描述Spark RDD中的transform和action的理解?

4.两个类TextInputFormat和KeyValueInputFormat的区别是什么？

5.在hadoop任务中，什么是inputsplit？

6.hadoop框架中文件拆分是怎么被调用的？

7.参考下面的MR系统场景：

hdfs块大小为64M

输入类型为：64M

有三个大小的文件，分别为64KB，65MB，127MB

hadoop文件会被这些文件拆分为多少split?

8.hadoop文件中，RecordReader的作用是什么？

9.Map阶段结束后，Hadoop框架会处理：Partitioning,shuffle,和Sort，在这个阶段都发生了什么？

10.如果没有定义Partitioner，那数据在没有被送达reducer之前是如何被分区的？

11.什么是combiner？

12.分别举例什么情况下会使用combiner，什么情况下不会使用？

13.以下操作是属于窄依赖的spark transformation的是

(A) Rdd.map  (B)rdd.count (C)rdd.filter (D)rdd.reducebykey

14.在Hadoop中定义的主要公用inputFormats中，哪一个是默认值（A）TextInputFormat

（B）KeyValueInputFormat

（C）SequenceFileInputFormat

15.请写出下面代码执行后A1和B1的值

val books=List("Hadoop","Hive","HDFS")

val A1=books.map(a->a.toUpperCase())

val B1=books.flatMap(a->a.toUpperCase())

这里尝试做一下：先回答前三个，后面有时间在回答，大家有兴趣，可以解答下

1.简述对大数据组件：Yarn，Spark，Hbase，Hive的理解

Yarn可以理解为大数据组件运行job的管理器。

Spark分布式的利用内存进行分布式运算的大数据组件

Hbase是基于Hadoop的大数据常用数据库

Hive则是基于Hadoop的大数据数据仓库，操作跟关系数据库类似。

2.hdf文件系统中Namenode和DataNode区别和联系

Namenode存储了元数据，并且调度、协调整个集群

DataNode主要用来存储数据

3.请描述Spark RDD中的transform和action的理解?

1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD

2，action是得到一个值，或者一个结果