最新大数据基础习题，2024大厂大数据开发面试最火问题

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

7.三次信息化浪潮的标志有哪些（ABC）

A. 个人计算机

B. 互联网

C. 物联网，云计算和大数据

D. 人工智能

8.信息科技需要解决的核心问题包括：（ACD）

A. 信息存储

B. 信息可视

C. 信息传输

D. 信息处理

9.以下属于批处理大数据计算的产品有：（AC）

A. MapReduce

B. Storm

C. Spark

D. Pregel

10.以下属于图计算的产品有：（ABCD）

A. Pregel

B. GraphX

C. Giraph

D. PowerGraph

11.访问HBase表中的行有哪几种方式（ABD）

A. 通过单个行键

B. 行键的区间

C. 列族

D. 全表扫描

12.大数据对科学研究有哪些影响（ABCD）

A. 第一范式：实验科学

B. 第二范式：理论科学

C. 第三范式：计算科学

D. 第四范式：数据密集型科学

13.关系数据库无法满足Web2.0的需求主要表现在哪几个方面（ACD）

A. 无法满足海量数据的管理需求

B. 无法满足数据完整性

C. 无法满足数据高并发的需求

D. 无法满足高可扩展性和高可用性的需求

14.人类科学研究范式包括：（ABCD）

A. 实验

B. 理论

C. 计算

D. 数据

15.下面关于MapReduce工作流程说法正确的是（ABD）

A. 不同的Map任务之间不会进行通信。

B. 不同的Reduce任务之间也不会发生任何信息交换。

C. 用户能显式的从一台机器向另一台机器发送信息

D. 所有的数据交换都是通过MapReduce框架自身去实现的

16.与传统并行计算框架相比，以下哪些是MapReduce的优势（ABC）

A. 非共享式，容错性好

B. 普通PC机，便宜，扩展性好

C. 编程/学习难度较简单

D. 适用场景为实时、细粒度计算、计算密集型

17.Hadoop1.0的核心组件主要存在以下不足（ABCD）

A. 难以看到程序整体逻辑

B. 开发者自己管理作业之间的依赖关系

C. 执行迭代操作效率低

D. 资源浪费

18.NoSQL数据库的明显优势在于（BCD）

A. 数据的完整性

B. 可以支持超大规模数据存储

C. 灵活的数据模型

D. 强大的横向扩展能力

19.HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言，HDFS要实现以下目标： (1)兼容廉价的硬件设备 (2)流数据读写 (3)大数据集 (4)复杂的文件模型 (5)强大的跨平台兼容性 （D）

A. A.(1)(2)(3)(4)

B. B.(1)(2)(4)(5)

C. C.(2)(3)(4)(5)

D. D.(1)(2)(3)(5)

20.Map端的Shuffle过程包括以下哪几个步骤。（ABCD）

A. 输入数据和执行Map任务

B. 写入缓存

C. 溢写(分区、排序、合并)

D. 文件归并

21.MapReduce的广泛应用包括（ABCD）

A. 关系代数运算

B. 分组与聚合运算

C. 矩阵乘法

D. 矩阵-向量乘法

22.大数据处理主要包括三个类型，分别是：（ABC）。

A. 复杂的批量数据处理

B. 基于历史数据的交互式查询

C. 基于实时数据流的数据处理

D. 集成数据

23.UMP系统采用哪两种资源隔离方式（AB）

A. 用Cgroup限制MySQL进程资源

B. 在Proxy服务器端限制QPS

C. 通过MySQL实例的迁移

D. 采用资源池机制管理数据库服务器资源

24.MapReduce执行的全过程包括以下几个主要阶段（ABCD）

A. 从分布式文件系统读入数据

B. 执行Map任务输出中间结果

C. 通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务

D. 执行Reduce任务得到最终结果并写入分布式系统文件

25.以下（ACD）产品使Hadoop功能更加完善.

A. Pig

B. QJM

C. Tez

D. Oozie

26.以下属于流计算的产品有：（ABCD）

A. Storm

B. S4

C. Flume

D. Puma

27.基于MapReduce模型的关系上的标准运算,包括（ABCD）

A. 选择运算

B. 并、交、差运算

C. 投影运算

D. 自然连接运算

28.不同的计算框架统一运行在YARN中，可以带来如下好处：（ACD）

A. 计算资源按需伸缩

B. 计算资源平均分配

C. 不用负载应用混搭，集群利用率高

D. 共享底层存储，避免数据跨集群迁移

29.数据采集系统的基本架构一般有以下三个部分：（ABD）

A. Agent

B. Collector

C. Calculate

D. Store

30.以下属于Spark的主要特点的是：（ABCD）。

A. 运行速度快

B. 容易使用

C. 通用性

D. 运行模式多样

31.Spark采用RDD以后能够实现高效计算的原因主要在于：（ABD）

A. 高效的容错性

B. 中间结果持久化到内存

C. 两种依赖方式

D. 存放的数据可以是Java对象

32.下列为UMP系统架构设计遵循的原则的是（ABCD）

A. 保持单一的系统对外入口，并且为系统内部维护单一的资源池

B. 消除单点故障，保证服务的高可用性

C. 保证系统具有良好的可伸缩性，能动态地增加、删减计算与存储节点

D. 保证分配给用户的资源也是弹性可伸缩的，资源之间相互隔离，确保应用和数据的安全

33.信息科技为大数据时代提供的支撑（BCD）

A. 计算机设备廉价

B. 存储设备容量不断增加

C. CPU处理能力大幅度提升

D. 网络带宽不断增加

34.为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，这种多副本方式具有以下几个优点：（BCD）

A. A.容易修改数据问题

B. B.加快数据传输速度

C. C.保证数据的可靠性

D. D.容易检查数据错误

35.UMP系统是如何保障数据安全的（ABCD）

A. SSL数据库连接

B. 数据访问IP白名单

C. 记录用户操作日志

D. SQL拦截

36.HBase的实现包括3个主要的功能组件：（ABD）

A. A.库函数

B. B.一个Master主服务器

C. C.一个Region服务器

D. D.许多个Region服务器

判断：

1.分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类:一类叫主节点,另一类叫从节点。（√）

2.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。Master上运行JobTracker，Slave上运行TaskTracker . （√）

3.HDFS采用块的概念，默认的一个块大小是64MB。 （√）

4.HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件

存储。（×）

5.在HDFS的设计中，第二名称节点起到了名称节点的“检查点”和“热备份”的作用，因

为有了第二名称节点的存在，当名称节点发生故障时，系统就不会丢失元数据信息。（×）

6.在HBase中执行更新操作时，会在生成一个新版本之前删除数据旧的版本。（×）

7.HBase的系统架构中的客户端是指用户。（×）

8.CAP中的C与CAID中的C的含义一样。 （×）

9.NoSQL的英文全称为 No Structual Query Language。（ ×）

10.云计算八大优势为按需服务、随时服务、通用性、高可靠性、极其廉价、超大规模、

虚拟化、高扩展性。（√）

11.云计算可同时为众多用户提供服务。（√）

12.云数据库有专属与自己的数据模型。（ ×）

13.MapReduce是Hadoop MapReduce的开源实现.（×）

14.MapReduce运行在分布式文件系统GFS上。 （√）

15.HDFS联邦是真正的分布式设计。 （×）

16.MapReduce1.0中资源被强制等量划分为多个“槽”,槽又被进一步划分为Map槽和

Reduce槽，分别供Map任务和Reduce任务使用，彼此之间能使用分配给对方的槽。（×）

17.一个作业包含多个RDD及作用于相应RDD上的各种操作。（√）

18.RDD提供了一组丰富的操作以支持常见的数据运算，分为“行动”（Action）和“转换”

Transformation。 （ √）

19.RDD本质上是一个支持读写的分区记录集合，可以直接修改。 （ ×）

20.RDD采用了惰性调用，即在RDD执行过程中，真正的计算发生在RDD的“行动”操作，

对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数

据集以及RDD生成的轨迹，不会触发真正的计算。（√）

21.人类社会的数据产生大致经历了3个阶段：运营式系统阶段，用户原创内容阶段和感知

式系统阶段。（ √）

22.大数据具有的三大特征：全样而非抽样，效率而非精确，相关而非因果。（√）

23.云计算3中典型的服务模式：IaaS（基础设施即服务），PaaS（平台即服务），SaaS（软件

即服务）。（ √）

24.web2.0特征之一就是物联网原创内容。（ ×）

25.1PB（1024TB）的数据能够存储到一张仅DVD大小的聚合物碟片上。（√）

26.NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库

支持ACID和SQL等特性。（ √）

27.HBase采用行键、列族、列限定符、时间戳来定位一个单元格。（√）

28.行键是按照字典序存储。（ √）

29.每个Application都有自己专属的Executor进程，并且该进程在Application运行期间一直

驻留。Executor进程以多线程的方式运行Task。 （√）

30.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。（√）

31.Hadoop属于开发运行环境中的运行环境。 （√）

32.为保证一致性，关系数据库遵守ACID模型，NoSQL数据库遵守BASE模型。（√）

33.HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件存储。（×）

34.相对于之前的HDFS10而言，HDFS2.0增加了HDFS HA和HDFS联邦等新特性。（√）

35.HDFS把硬件出错看成一种常态，设计了错误恢复机制。 （√）

36.UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。 （√）

37.Mnesia是一个集中式数据库管理系统。 （×）

38.UMP系统只为一个用户创建一个MySQL实例。 （×）

39.RDS实例或简称“实例”，是用户购买RDS服务的基本单位。 （√）

40.Map函数和Reduce函数都是以key,value作为输入。 （√）

41.MapReduce程序一定要用java来写。（×）

42.词频计算是典型的分组聚合运算。 （√）

43.Tez支持DAG作业的计算框架，对作业的操作进行重新分解和组合，解决了不同的MapReduce任务之间存在重复操作，降低效率的问题。（√）

44.流计算秉承一个基本理念，即数据的价值随着时间的流逝而降低，如用户点击流。（√）

45.分布式数据库HBase的数据类型只有字符串。（√）

46.新建RDS账号，MySQL实例支持最多创建20个账号，SQL Server实例支持最多创建50个账号。（×）

47.HDFS HA提供两个名称节点，很好的解决了可扩展性、系统性能和隔离性三个方面的问题。（×）

48.Spark Streaming的原理是将数据分解成一系列短小的批处理作业。（√）

49.Hadoop擅长批处理，不适合流计算。（√）

50.Shuffle过程是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。（√）

51.HDFS HA本质上不是单名称节点。（×）

52.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。（√）

53.RDD在Spark架构中运行第一步是创建RDD对象。（√）

54.UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。（√）

55.BigTable是一个分布式存储系统，使用谷歌分布式文件系统MapReduce作为底层数据存储。（×）

56.在用户购买RDS实例时，所选择的内存大小已经决定了该实例的最大连接数。（√）

57.MapReduce设计的一个理念是“计算向数据靠拢”,而不是“数据向计算靠拢” （√）

58.HBase操作不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等。（√）

59.资源池是为MySQL实例分配资源的基本单位。（√）

60.split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。 （√）

补充：

Web2.0网站系统通常要求严格的数据库事务。（×）

YARN架构设计基本思路就是“放权” (√)

Reduce从©读取数据。

A.本地存储 B.磁盘 C.硬盘 D.主存

“软状态”是指（状态可以有一段时间不同步，具有一定的滞后性）。

5.Map端的所有Shuffle过程结束后，所有Map输出结果都保存在Map机器的本地磁盘上 (√) P138

16.在许多企业实际应用中，Hadoop和Spark的统一部署是一种比较现实合理的选择。（）。

√

23.在流处理流程中，实时查询服务可以不断更新结果，并将用户所需的结果实时推送给用户。（）

√

24.Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成了一套完整的生态系统。（）

√

26.DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系。（）

√

27.Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。（）

√

28.一个Application由一个Driver和若干个Job构成，一个Job由多个Stage构成，一个Stage由多个没有Shuffle关系的Task组成。（）

√

29.Stage的类型包括两种：和。

ShuffleMapStage，ResultStage

30.Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作。（）

√

分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类：一类叫__________；另一类叫__________。(P43)主节点/名称节点，从节点/数据节点

HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件存储。 错误 P46

在HDFS中，名称节点负责管理分布式文件系统的命名空间，保存了两个核心的数据结构，即__________和__________。（P46）FsImage，EditLog

分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类:一类叫主节点,另一类叫从节点。

HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言，HDFS要实现以下目标：__________。(P45) D

(1)兼容廉价的硬件设备

(2)流数据读写

(3)大数据集

4)复杂的文件模型

5)强大的跨平台兼容性

A. (1)(2)(3)(4) B. 1)(2)(4)(5) C. 2)(3)(4)(5) D. 1)(2)(3)(5)

HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用局限性，主要包括以下几个方面：**********。(P45) AB

不适合低延迟数据访问

无法高效存储大量小文件

不支持单用户写入及任意修改文件

硬件设备昂贵

为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，这种多副本方式具有以下几个优点：**********。（P50）BCD

容易修改数据问题

加快数据传输速度

保证数据的可靠性

容易检查数据错误

1.HDFS采用块的概念，默认的一个块大小是64MB。 （ ） (P46) √

2.在HDFS的设计中，第二名称节点起到了名称节点的“检查点”和“热备份”的作用，因为有了第二名称节点的存在，当名称节点发生故障时，系统就不会丢失元数据信息。

（ ） （P48）×

HDFS把硬件出错看成一种常态，设计了错误恢复机制。 P60 对

第四章

填空

1.HBase是针对谷歌BigTable的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。 P63 选择

2.BigTable是一个分布式存储系统，利用谷歌提出的__________分布式并行计算模型来处理海量数据。 P63 MapReduce

3.HBase只有一个索引——__________，通过巧妙的设计，HBase中的所有访问方法，或者通过行健访问，或者通过行健扫描，从而使得整个系统不会慢下来。 P65 行健

4.__________是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求。 选择 P75 Region服务器

判断

1.BigTable是一个分布式存储系统，使用谷歌分布式文件系统MapReduce作为底层数据存储。 错 P63

2.分布式数据库HBase的数据类型只有字符串。 对 P64

3.HBase操作不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等。

对 P64

4.在HBase中执行更新操作时，会在生成一个新版本之前删除数据旧的版本。 P65 错

5.HBase的系统架构中的客户端是指用户。 P74 错

单选

1.当一个客户端从Zookeeper服务器上拿到-ROOT-表的地址以后，就可以通过________找到用户数据表所在的Region服务器，并直接访问该Region服务器获得数据。

A.一级寻址 B.二级寻址 C.三级寻址 D.四级寻址

P74 C

多选

1.HBase的实现包括3个主要的功能组件：__________。

A.库函数

B.一个Master主服务器

C.一个Region服务器

D.许多个Region服务器

ABD P71

第五六章

下列选项中（B）不是NoSQL数据库的特点。

灵活的可扩展性 B.动态的数据迁移 C.与云计算紧密融合 D.灵活的数据模型

NoSQL的英文全称（Not only Structual Query Language）。

NoSQL的英文全称为 No Structual Query Language。×

关系数据库无法满足Web2.0的需求主要表现在哪几个方面（ACD）

无法满足海量数据的管理需求

无法满足数据完整性的需求

无法满足数据高并发性的需求

无法满足高可扩展性和高可用性的需求

与分布式对应的方式是（集中式）

Hadoop属于开发运行环境中的运行环境。√

为保证一致性，关系数据库遵守ACID模型，NoSQL数据库遵守BASE模型。√

NoSQL数据库的明显优势在于（BCD）。

实现数据完整性

支持超大规模数据存储

灵活的数据模型可以很好的支持Web2.0应用

具有强大的横向扩展能力

Web2.0网站系统通常要求严格的数据库事务。×

NoSQL的四大类型为键值数据库、（列族数据库）、文档数据库、图数据库

下列选项中（C）不是文档数据库的优点。

性能好 B.灵活性高 C.统一的查询语法 D.数据结构灵活

NoSQL的三大基石包括（CAP、BASE、最终一致性）。

CAP中的C与CAID中的C的含义一样。×

NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。√

最终一致性根据更新数据后各进程访问到数据的时间和方式的不同，可以进行区别。下列说法正确的是（ABCD）。

因果一致性

“读己之所写”一致性

会话一致性

单调一致性

“软状态”是指（状态可以有一段时间不同步，具有一定的滞后性）。

云计算八大优势为按需服务、随时服务、通用性、（高可靠性）、极其廉价、超大规模、（虚拟化）、高扩展性。

云计算主要包括3种类型，即（IaaS、PaaS、SaaS）。

云计算可同时为众多用户提供服务。√

下列关于云数据库的特点，错误的是（A）。

高可靠性 B.高可扩展性 C.采用多租形式 D.支持资源有效分布

关系数据库采用（关系数据）模型，NoSQL数据库采用（非关系数据）模型。

云数据库有专属与自己的数据模型。×

UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。√

下列为UMP系统架构设计遵循的原则的是（ABCD）。

保持单一的系统对外入口，并且为系统内部维护单一的资源池

保持单一故障，保证服务的高可用性

保证系统具有良好的可伸缩性，能够动态地增加、删减计算与存储节点

保证分配给用户的资源是弹性可伸缩的，资源之间相互隔离，保证应用和数据的安全

Mnesia是一个集中式数据库管理系统。×

下列选项不属于Zookeeper主要发挥的作用的是（D）。

作为全局的配置服务器

提供分布式锁

监视所有MySQL实例

支持透明的数据分片

UMP系统借助于（）来实现集群内部的负载均衡。

Mnesia B.Zookeeper C.LVS D.Controller服务器

UMP系统功能为（容灾）、读写分离、资源管理、资源调度、（资源隔离）和数据安全。

UMP系统只为一个用户创建一个MySQL实例。×

资源池是为MySQL实例分配资源的基本单位。√

UMP系统采用哪两种资源隔离方式（AB）。

用Cgroup限制MySQL进程资源

在Proxy服务器限制QPS

通过MySQL实例的迁移

采用资源池机制管理数据库服务器资源

UMP系统是如何保障数据安全的（ABCD）。

SQL拦截

记录用户操作日志

数据访问IP白名单

SSL数据库连接

RDS英文全称为（Relational Database Service）。

RDS实例或简称“实例”，是用户购买RDS服务的基本单位。√

在用户购买RDS实例时，所选择的内存大小已经决定了该实例的最大连接数。√

新建RDS账号，MySQL实例支持最多创建20个账号，SQL Server实例支持最多创建50个账号。×

下列哪个不是连接RDS for MySQL数据库的方法（C）。

使用客户端MySQL-Front访问

使用数据库管理工具Navicat MySQL

使用Shell命令登录

使用阿里云控制台iDB Cloud访问

HBase采用“四维坐标”定位一个单元格。√

行键是按照字典序存储。√

访问HBase表中的行有哪几种方式（ABD）。

通过单个行键访问

通过一个行键的区间来访问

直接读取

全表扫描

41.colFamily指的是（列族）。

第七章

填空：

1.MapReduce的核心函数：_______ _______

答案：P132 Map Reduce

2.MapReduce的核心思想可以用_______来描述。

答案：P134 分而治之

3.MapReduce整个工作流程的核心环节是____过程。

答案：P136 Shuffle

4.Shuffle过程分为____端的操作和____端的操作。

答案：P136 Map Reduce

5.MapReduce是________编程框架。

答案：P131 分布式并行

6.MapReduce的处理单位是______

答案：P课件15 split

7.大规模数据集的处理包括_________和________两个核心环节。

答案：P134 分布式存储 分布式计算

单选：

1.Hadoop框架是用©实现的。 P133

A.C B.C++ C.java D.VB

2.以下哪项不是MapReduce体系结构的主要组成部分(D) P课件9

A.Client B.JobTracker C.TaskTracker D.TaskScheduler

3.每个Map任务分配一个缓存，MapReduce默认缓存是(A) P137

A.100MB B.80MB C.120MB D.200MB

4.以下哪项不属于步骤不包含在溢写过程中(B) P137

A.分区 B.归并 C.排序 D.合并

5.Reduce从©读取数据。 P135

A.本地存储 B.磁盘 C.硬盘 D.主存

6.Map任务的输入文件、Reduce任务的处理结果都是保存在(A)的。P135

A.分布式文件系统 B.本地存储 C.硬盘 D.主存

多选：

1.下面关于MapReduce工作流程说法正确的是(ABD) P135

A.不同的Map任务之间不会进行通信。

B.不同的Reduce任务之间也不会发生任何信息交换。

C.用户能显式的从一台机器向另一台机器发送信息

D.所有的数据交换都是通过MapReduce框架自身去实现的。

2.Map端的Shuffle过程包括以下哪几个步骤。(ABCD) P136

A.输入数据和执行Map任务 B.写入缓存

C.溢写(分区、排序、合并) D.文件归并

3.Reduce端的Shuffle过程包括(ABD) P138

A.“领取”数据 B.归并数据

C.溢写 D.把数据输入到Reduce任务

4.基于MapReduce模型的关系上的标准运算,包括(ABCD) P142

A.选择运算 B.投影运算 C.并、交、差运算 D.自然连接运算

5.MapReduce执行的全过程包括以下几个主要阶段(ABCD) P151

A.从分布式文件系统读入数据

B.执行Map任务输出中间结果

C.通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务

D.执行Reduce任务得到最终结果并写入分布式系统文件

6.MapReduce的广泛应用包括(ABCD) P151

A.关系代数运算 B.分组与聚合运算

C.矩阵-向量乘法 D.矩阵乘法

7.与传统并行计算框架相比，以下哪些是MapReduce的优势(ABC)

P课件6

A.非共享式，容错性好 B.普通PC机，便宜，扩展性好

C.编程/学习难度较简单 D.实时、细粒度计算、计算密集型

判断：

1.MapReduce设计的一个理念是“计算向数据靠拢”,而不是“数据向计算靠拢” (√) P133

2.MapReduce程序一定要用java来写。 (×) P133

3.Map函数和Reduce函数都是以<key,value>作为输入(√) P133

4.Shuffle过程是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。 (√) P136

5.Map端的所有Shuffle过程结束后，所有Map输出结果都保存在Map机器的本地磁盘上 (√) P138

6.词频计算是典型的分组聚合运算。 (√) P144

7.MapReduce运行在分布式文件系统GFS上。 (√) P132

8.MapReduce是Hadoop MapReduce的开源实现。 (×) P132

9.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。Master上运行JobTracker，Slave上运行TaskTracker .

(√) P课件7

split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。 (√) P课件15

第八章

单选

1.JobTracker的三大功能不包括(D) P160

A.资源管理

B.任务调度

C.任务监控

D.调度Map/Reduce任务的执行

多选

1.Hadoop1.0的核心组件主要存在以下不足(ABCD)P155

A.难以看到程序整体逻辑

B.开发者自己管理作业之间的依赖关系

C.执行迭代操作效率低

D.资源浪费

2.以下(ACD)产品使Hadoop功能更加完善. P156

A.Pig

B.QJM

C.Tez

D.Oozie

3.采用HDFS联邦的设计方式，可解决单名称节点以下问题(ABD) P159

A.HDFS集群可扩展性

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

(√) P138

6.词频计算是典型的分组聚合运算。 (√) P144

7.MapReduce运行在分布式文件系统GFS上。 (√) P132

8.MapReduce是Hadoop MapReduce的开源实现。 (×) P132

9.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。Master上运行JobTracker，Slave上运行TaskTracker .

(√) P课件7

split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。 (√) P课件15

第八章

单选

1.JobTracker的三大功能不包括(D) P160

A.资源管理

B.任务调度

C.任务监控

D.调度Map/Reduce任务的执行

多选

1.Hadoop1.0的核心组件主要存在以下不足(ABCD)P155

A.难以看到程序整体逻辑

B.开发者自己管理作业之间的依赖关系

C.执行迭代操作效率低

D.资源浪费

2.以下(ACD)产品使Hadoop功能更加完善. P156

A.Pig

B.QJM

C.Tez

D.Oozie

3.采用HDFS联邦的设计方式，可解决单名称节点以下问题(ABD) P159

A.HDFS集群可扩展性

[外链图片转存中…(img-Gkl9lNSx-1715819707177)]
[外链图片转存中…(img-uGEQkKjq-1715819707177)]
[外链图片转存中…(img-VW4WvuHN-1715819707177)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取