Spark考试题总结

一.选择判断

1.单选

下面哪个不是 RDD 的特点 ( )

A.可分区 B.可序列化 C.可修改 D.可持久化

关于累加器，下面哪个是错误的 ( )
A.支持加法 
B.支持数值类型
C.可并行 
D.不支持自定义类型

Scala语言中，以下说法正确的是（）
A.常量和变量都可以不用赋初始值
B.常量需要赋初始值，变量可以不用赋初始值
C.常量和变量都需要赋初始值
D.常量不需要赋初始值，变量必须赋初始值

下面对MapReduce描述错误的是(  )
A. 适合离线批处理   
B. 具有很好的容错性和扩展性
C. 启动开销小、可以使用很少的磁盘到时效率提高  
D. Shuffle连接Map和Reduce

下面描述正确的是(  )
A. NameNode是一个中心服务器，单一节点，负责管理文件系统的名字空间以及客户端对文件的访问.
B. DataNode负责元数据操作，很文件内容相关的数据流经过DataNode.
C. 副本存放在那些DataNode上有NameNode和DataNode协商控制.
D. DataNode全权管理数块的赋值，接受心跳信号和块状态报告

下列那个配置描述是错误的(  )
A.<name>fs.defaultFS</name> 是定义hdfs集群的命名空间
B.<name>dfs.replication</name> 是定义hdfs文件系统副本数
C.<name>dfs.datanode.data.dir</name> 是定义hdfs文件系统元数据存放目录
D.<name>dfs.namenode.name.dir</name> 是定义hdfs文件系统元数据存放目录

下列哪一项是yarn的一级调度管理(  )
A.计算资源管理
B.Schdule的周期管理
C.app内部计算模型管理
D.多样化计算模型管理

下列哪一项不是applicationMaster的功能(  )
A.数据切分
B.为应用程序申请资源，并进一步分配给内部任务
C.任务监控与容错
D.所有应用的管理者

关于ResourceManager描述错误的是(  )
A. 全局的资源管理器，整个集群只有一个，负责集群资源的同意管理和调度分配
B. 处理客户单请求
C. 启动和监控ApplicationMaster
D. 资源分配和调度、不监控NodeManager

以下说明错误的是(  )
A. setup() : 对 Map Task 进行一些预处理
B. map() : 每次接受一个 Key-Value 对并对其进行处理，再分发处理
C. cleanup() : 对 Reduce Task 进行一些处理后的工作
D. run() : 相当于 Map Task 的驱动

scala 中，以下说法错误是 (  )
A. scala 中可以在类中定义类。
B. scala 中可以在函数中定义函数。
C. scala 中不可以在类中定义object。
D. scala 中可以在函数中定义类。

下面关于override修饰符的描述错误的是 (  )
A. Scala里所有重载了父类具体成员的成员都需要这样的修饰符
B. Scala里如果子类成员实现的是同名的抽象成员则这个修饰符是可选的
C. Scala里如果子类中并未重载或实现什么基类里的成员则禁用这个修饰符
D. Scala里如果子类是抽象类则子类的同名成员不可以使用这个修饰符

Scala里，final修饰符的描述正确的是 (  )

A. 类的声明上添加final修饰符确保成员不被子类重载
B. 类的声明上添加final修饰符把整个类声明为final，这个类不能被继承
C. 类的声明上添加final修饰符确保成员只能被子类重载一次
D. 以上说法都是错误的

调用函数时指定（），参数顺序可以跟函数定义时的顺序不同
A.参数名
B.参数值
C.默认值
D.变量值

scala 中，类和它的伴生对象说法错误的是(  )
A. 类和它的伴生对象定义在同一个文件中。
B. 类和它的伴生对象可以有不同的名称。
C. 类和它的伴生对象可以互相访问私有特性。
D. 类和它的伴生对象可以实现既有实例方法又有静态方法。

 

2.多选

以下（）可以实现类似java中的break跳出方式
A.使用一个Boolean类型的控制变量，合适的时候return
B.使用嵌套函数—从函数当中return
C.使用Breaks对象中的break方法
D.使用continu   

ABC

下列函数中参数必须为空的有（）  

A.readLine()   
B.readInt()   
C.readDouble()  
D.readChar()

BCD

Spark跟如下哪些不是一类（）
A.MapReduce
B.HDFS
C.YARN
D.Storm

BC

Spark可以实现哪些形式的分布式计算（）

A.内存式运算
B.机器学习
C.交互式查询
D.流式计算

ABCD

Spark的算子类型（）
A.转换算子
B.迭代算子
C.动作算子
D.核心算子

AC

下列哪些是spark的特点（ ）

A.运行快
B.基于内存
C.底层是mr运算
D.速度快

ABD

以下那些事宽依赖算子（ ）

A.join
B.mapPartitons
C.groupByKey
D.flatMap

AC

哪个是本地模式运行的条件 （ ）
A.spark.localExecution.enabled=true  
B.显式指定本地运行
C.finalStage 无父 Stage
D.partition默认值

ABC

Stage 的 Task 的数量跟什么无关（ ）

A.Partition             
B.Job             
C.Stage            
D.TaskScheduler

BCD

spark的存储级别包含（ ）

A.MEMORY_ONLY                      
B.MEMORY_ONLY_SER
C.MEMORY                                    
D.MEMORY_AND_DISK_SER

ABD

Spark 的四大组件中包含（ ）
A.Spark Streaming          
B.Mlib 
C.Graphx                           
D.Spark R

ABC

Spark driver的功能是什么（ ）

A.是作业的主进程
B.负责了作业的调度
C.负责向HDFS申请资源
D.负责作业的解析

ABD

spark的有几种部署模式（ ）
A.本地模式
B.standalone 模式
C.spark on yarn 模式
D.mesos模式

ABCD

下列那些是spark中的常用算子（ ）
A.map 
B.mapPartitions  
C.mapPartition 
D.foreachPartitions

AB

下列那些选项导致内存溢出（ ）
A.map端
B.数据不平衡
C.shuffle后
D.standalone模式下资源分配不均匀

ABCD

Spark 的数据结构有 （ ）

A.rdd    B.DataFrame  C.Dataset D.RowMatrix