《Spark大数据分析与内存计算》——第三章

第三章作业及答案

快捷查找：Ctrl+F   在搜索框中输入题目

一. 单选题（共17题）

1. (单选题)并不是所有企业都能自己产生数据，从而用于决策辅助，而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析

A. Hadoop

B. python

C. Spark

D. 网路爬虫

正确答案: D:网路爬虫 ;

2. (单选题)什么负责即席查询的应用

A. MLlib

B. Spark Streaming

C. GraphX

D. Spark SQL

正确答案: D:Spark SQL ;

3. (单选题)Spark主要使用什么语言进行开发

A. JAVA

B. C#

C. Scala

D. Python

正确答案: C:Scala ;

4. (单选题)什么类提供了对广播变量的操作方法

A. pyspark.RDD

B. pyspark.Broadcast

C. pyspark.SparkContext

D. pyspark.SparkConf

正确答案: B:pyspark.Broadcast ;

5. (单选题)什么负责机器学习的应用

A. GraphX

B. MLlib

C. Spark Streaming

D. Spark SQL

正确答案: B:MLlib ;

6. (单选题)什么模式用于Spark客户端直接连接Yarn。

A. standalone

B. local

C. yarn

D. mesos

正确答案: C:yarn ;

7. (单选题)什么模式用于构建一个由Master+Slave构成的Spark集群

A. standalone

B. local

C. mesos

D. yarn

正确答案: A:standalone ;

8. (单选题)Spark控制日志输出内容的方式有几种

A. 1

B. 3

C. 4

D. 2

正确答案: D:2;

9. (单选题)修改其中的什么文件，能够帮助我们在后期的使用中快速启动Jupyter

A. properties

B. source

C. profile

D. password

正确答案: C:profile ;

10. (单选题)什么模式用于Spark客户端直接连接Mesos

A. yarn

B. mesos

C. standalone

D. local

正确答案: B:mesos ;

11. (单选题)PySpark拥有几种启动模式

A. 6

B. 3

C. 4

D. 5

正确答案: C:4;

12. (单选题)什么负责图像处理的应用

A. GraphX

B. MLlib

C. Spark SQL

D. Spark Streaming

正确答案: A:GraphX ;

13. (单选题)什么类提供了应用与 Spark 交互的主入口点，表示应用与 Spark 集群的连接

A.  pyspark.SparkContext

B.  pyspark.RDD

C.  pyspark.SparkConf

D. pyspark.Broadcast

正确答案: A: pyspark.SparkContext ;

14. (单选题)什么负责实时流处理的应用

A. MLlib

B.  Spark Streaming

C. GraphX

D. Spark SQL

正确答案: B: Spark Streaming ;

15. (单选题)什么为有向无环图，在 Spark 中使用其来描述我们的计算逻辑

A. DAG

B. GraphX

C. MLlib

D. Spark SQL

正确答案: A:DAG ;

16. (单选题)什么类提供了对一个 Spark 应用程序配置的操作方法

A. pyspark.SparkContext

B. pyspark.SparkConf

C. pyspark.RDD

D. pyspark.Broadcast

正确答案: B:pyspark.SparkConf ;

17. (单选题)什么类提供了对累加器变量的操作方法

A. pyspark.SparkConf

B. pyspark. Accumulator

C. pyspark.SparkContext

D. pyspark.Broadcast

正确答案: B:pyspark. Accumulator ;

二. 多选题（共7题）

18. (多选题)Python的基础库包括

A. Pandas

B. Scipy

C. Numpy

D. Matplotlab

正确答案: ABCD:Pandas; Scipy ; Numpy; Matplotlab ;

19. (多选题)PySpark 提供的类信息如下

A. pyspark.SparkContext

B. pyspark.SparkConf

C. pyspark.Broadcast

D. pyspark.RDD

正确答案: ABCD:pyspark.SparkContext ; pyspark.SparkConf ; pyspark.Broadcast ; pyspark.RDD ;

20. (多选题)PySpark 启动模式分为

A. standalone

B. yarn

C. local

D. mesos

正确答案: ABCD:standalone ; yarn ; local ; mesos ;

21. (多选题)Python所具有的优点包括

A. 简单易学

B.  强大的可移植性

C. 具有丰富的库

D. 免费开源

正确答案: ABCD:简单易学 ; 强大的可移植性 ; 具有丰富的库 ; 免费开源 ;

22. (多选题)相对于其他语言，Python相比于其他语言所具有的优点有哪些

A. 自然语言和文本处理库

B. 更加人性化设计

C. 机器学习库

D. 总体的AI库

正确答案: ABCD:自然语言和文本处理库 ; 更加人性化设计 ; 机器学习库; 总体的AI库 ;

23. (多选题)Python开发语言特点有哪些

A. 简单易学

B. 可移植性强

C. 免费开源

D. 丰富的库

正确答案: ABCD:简单易学 ; 可移植性强 ; 免费开源 ; 丰富的库 ;

24. (多选题)PySpark安装方式有哪些

A. 在线安装

B. 离线安装

C. 多重安装

D. 简易安装

正确答案: AB:在线安装 ; 离线安装 ;

三. 判断题（共11题）

25. (判断题)Spark也具备多种模式的运行。Spark是分为local、standalone、yarn、mesos等运行模式的。

A. 对

B. 错

正确答案: 对

26. (判断题)Jupyter Notebook可以用来数据清理和转换，数值模拟，统计建模，机器学习等等。

A. 对

B. 错

正确答案: 对

27. (判断题)Anaconda能够帮助你管理环境。

A. 对

B. 错

正确答案: 对

28. (判断题)Python是Anaconda的开源发行版本。

A. 对

B. 错

正确答案: 错

29. (判断题) PySpark的在线安装相比于离线安装较为简单。

A. 对

B. 错

正确答案: 错

30. (判断题)Spark有效的日志级别包括：ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE。

A. 对

B. 错

 正确答案: 对

31. (判断题)PySpark 是 Spark 为 Python 开发者提供的 API。

A. 对

B. 错

正确答案: 对

32. (判断题)人工智能要求机器能自主学习成长，机器要会学习，就要积累大量的数据，然后运用机器学习算法如线性回归、决策树、神经网络等。

A. 对

B. 错

正确答案: 对

33. (判断题)PySpark 是 Spark 为 Python 开发者提供的 API，用简单的话来说就是用Python来连接Spark，一般情况下是将Python API链接到Spark Core并初始化SparkContext。

A. 对

B. 错

正确答案: 对

34. (判断题)Pycharm分为Professional和Community两种版本。

A. 对

B. 错

正确答案: 对

35. (判断题)Spark控制日志输出内容的方式有修改log4j.properties（或者）代码中使用setLogLevel(logLevel)控制日志输出。

A. 对

B. 错

正确答案: 对