大数据基础习题，前端视频开发面试

D. 200MB

多选：

1.MapReduce执行的全过程包括以下几个主要阶段（ABCD）

A. 从分布式文件系统读入数据

B. 执行Map任务输出中间结果

C. 通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务

D. 执行Reduce任务得到最终结果并写入分布式系统文件

2.HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用局限性，主要包括以下几个方面 (AB)

A. A.不适合低延迟数据访问

B. B.无法高效存储大量小文件

C. C.不支持单用户写入及任意修改文件

D. D.硬件设备昂贵

3.最终一致性根据更新数据后各进程访问到数据的时间和方式的不同，可以进行区别。下列说法正确的是 ABCD

A. 因果一致性

B. 读己之所写一致性

C. 单调读一致性$会话一致性

D. 单调写一致性

4.Reduce端的Shuffle过程包括(ABD)

A. “领取”数据

B. 归并数据

C. 溢写

D. 把数据输入到Reduce任务

5.采用HDFS联邦的设计方式，可解决单名称节点以下问题(ABD)

A. HDFS集群可扩展性

B. 性能更高效

C. 单点故障问题

D. 良好的隔离性

6.MapReduce1.0架构设计具有一些很难克服的缺陷，包括(ABCD)

A. 存在单点故障

B. JobTracker“大包大揽”导致任务过重

C. 容易出现内存溢出

D. 资源划分不合理

7.三次信息化浪潮的标志有哪些（ABC）

A. 个人计算机

B. 互联网

C. 物联网，云计算和大数据

D. 人工智能

8.信息科技需要解决的核心问题包括：（ACD）

A. 信息存储

B. 信息可视

C. 信息传输

D. 信息处理

9.以下属于批处理大数据计算的产品有：（AC）

A. MapReduce

B. Storm

C. Spark

D. Pregel

10.以下属于图计算的产品有：（ABCD）

A. Pregel

B. GraphX

C. Giraph

D. PowerGraph

11.访问HBase表中的行有哪几种方式（ABD）

A. 通过单个行键

B. 行键的区间

C. 列族

D. 全表扫描

12.大数据对科学研究有哪些影响（ABCD）

A. 第一范式：实验科学

B. 第二范式：理论科学

C. 第三范式：计算科学

D. 第四范式：数据密集型科学

13.关系数据库无法满足Web2.0的需求主要表现在哪几个方面（ACD）

A. 无法满足海量数据的管理需求

B. 无法满足数据完整性

C. 无法满足数据高并发的需求

D. 无法满足高可扩展性和高可用性的需求

14.人类科学研究范式包括：（ABCD）

A. 实验

B. 理论

C. 计算

D. 数据

15.下面关于MapReduce工作流程说法正确的是（ABD）

A. 不同的Map任务之间不会进行通信。

B. 不同的Reduce任务之间也不会发生任何信息交换。

C. 用户能显式的从一台机器向另一台机器发送信息

D. 所有的数据交换都是通过MapReduce框架自身去实现的

16.与传统并行计算框架相比，以下哪些是MapReduce的优势（ABC）

A. 非共享式，容错性好

B. 普通PC机，便宜，扩展性好

C. 编程/学习难度较简单

D. 适用场景为实时、细粒度计算、计算密集型

17.Hadoop1.0的核心组件主要存在以下不足（ABCD）

A. 难以看到程序整体逻辑

B. 开发者自己管理作业之间的依赖关系

C. 执行迭代操作效率低

D. 资源浪费

18.NoSQL数据库的明显优势在于（BCD）

A. 数据的完整性

B. 可以支持超大规模数据存储

C. 灵活的数据模型

D. 强大的横向扩展能力

19.HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言，HDFS要实现以下目标： (1)兼容廉价的硬件设备 (2)流数据读写 (3)大数据集 (4)复杂的文件模型 (5)强大的跨平台兼容性 （D）

A. A.(1)(2)(3)(4)

B. B.(1)(2)(4)(5)

C. C.(2)(3)(4)(5)

D. D.(1)(2)(3)(5)

20.Map端的Shuffle过程包括以下哪几个步骤。（ABCD）

A. 输入数据和执行Map任务

B. 写入缓存

C. 溢写(分区、排序、合并)

D. 文件归并

21.MapReduce的广泛应用包括（ABCD）

A. 关系代数运算

B. 分组与聚合运算

C. 矩阵乘法

D. 矩阵-向量乘法

22.大数据处理主要包括三个类型，分别是：（ABC）。

A. 复杂的批量数据处理

B. 基于历史数据的交互式查询

C. 基于实时数据流的数据处理

D. 集成数据

23.UMP系统采用哪两种资源隔离方式（AB）

A. 用Cgroup限制MySQL进程资源

B. 在Proxy服务器端限制QPS

C. 通过MySQL实例的迁移

D. 采用资源池机制管理数据库服务器资源

24.MapReduce执行的全过程包括以下几个主要阶段（ABCD）

A. 从分布式文件系统读入数据

B. 执行Map任务输出中间结果

C. 通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务

D. 执行Reduce任务得到最终结果并写入分布式系统文件

25.以下（ACD）产品使Hadoop功能更加完善.

A. Pig

B. QJM

C. Tez

D. Oozie

26.以下属于流计算的产品有：（ABCD）

A. Storm

B. S4

C. Flume

D. Puma

27.基于MapReduce模型的关系上的标准运算,包括（ABCD）

A. 选择运算

B. 并、交、差运算

C. 投影运算

D. 自然连接运算

28.不同的计算框架统一运行在YARN中，可以带来如下好处：（ACD）

A. 计算资源按需伸缩

B. 计算资源平均分配

C. 不用负载应用混搭，集群利用率高

D. 共享底层存储，避免数据跨集群迁移

29.数据采集系统的基本架构一般有以下三个部分：（ABD）

A. Agent

B. Collector

C. Calculate

D. Store

30.以下属于Spark的主要特点的是：（ABCD）。

A. 运行速度快

B. 容易使用

C. 通用性

D. 运行模式多样

31.Spark采用RDD以后能够实现高效计算的原因主要在于：（ABD）

A. 高效的容错性

B. 中间结果持久化到内存

C. 两种依赖方式

D. 存放的数据可以是Java对象

32.下列为UMP系统架构设计遵循的原则的是（ABCD）

A. 保持单一的系统对外入口，并且为系统内部维护单一的资源池

B. 消除单点故障，保证服务的高可用性

C. 保证系统具有良好的可伸缩性，能动态地增加、删减计算与存储节点

D. 保证分配给用户的资源也是弹性可伸缩的，资源之间相互隔离，确保应用和数据的安全

33.信息科技为大数据时代提供的支撑（BCD）

A. 计算机设备廉价

B. 存储设备容量不断增加

C. CPU处理能力大幅度提升

D. 网络带宽不断增加

34.为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，这种多副本方式具有以下几个优点：（BCD）

A. A.容易修改数据问题

B. B.加快数据传输速度

C. C.保证数据的可靠性

D. D.容易检查数据错误

35.UMP系统是如何保障数据安全的（ABCD）

A. SSL数据库连接

B. 数据访问IP白名单

C. 记录用户操作日志

D. SQL拦截

36.HBase的实现包括3个主要的功能组件：（ABD）

A. A.库函数

B. B.一个Master主服务器

C. C.一个Region服务器

D. D.许多个Region服务器

判断：

1.分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类:一类叫主节点,另一类叫从节点。（√）

2.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。Master上运行JobTracker，Slave上运行TaskTracker . （√）

3.HDFS采用块的概念，默认的一个块大小是64MB。 （√）

4.HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件

存储。（×）

5.在HDFS的设计中，第二名称节点起到了名称节点的“检查点”和“热备份”的作用，因

为有了第二名称节点的存在，当名称节点发生故障时，系统就不会丢失元数据信息。（×）

6.在HBase中执行更新操作时，会在生成一个新版本之前删除数据旧的版本。（×）

7.HBase的系统架构中的客户端是指用户。（×）

8.CAP中的C与CAID中的C的含义一样。 （×）

9.NoSQL的英文全称为 No Structual Query Language。（ ×）

10.云计算八大优势为按需服务、随时服务、通用性、高可靠性、极其廉价、超大规模、

虚拟化、高扩展性。（√）

11.云计算可同时为众多用户提供服务。（√）

12.云数据库有专属与自己的数据模型。（ ×）

13.MapReduce是Hadoop MapReduce的开源实现.（×）

14.MapReduce运行在分布式文件系统GFS上。 （√）

15.HDFS联邦是真正的分布式设计。 （×）

16.MapReduce1.0中资源被强制等量划分为多个“槽”,槽又被进一步划分为Map槽和

Reduce槽，分别供Map任务和Reduce任务使用，彼此之间能使用分配给对方的槽。（×）

17.一个作业包含多个RDD及作用于相应RDD上的各种操作。（√）

18.RDD提供了一组丰富的操作以支持常见的数据运算，分为“行动”（Action）和“转换”

Transformation。 （ √）

19.RDD本质上是一个支持读写的分区记录集合，可以直接修改。 （ ×）

20.RDD采用了惰性调用，即在RDD执行过程中，真正的计算发生在RDD的“行动”操作，

对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数

据集以及RDD生成的轨迹，不会触发真正的计算。（√）

21.人类社会的数据产生大致经历了3个阶段：运营式系统阶段，用户原创内容阶段和感知

式系统阶段。（ √）

22.大数据具有的三大特征：全样而非抽样，效率而非精确，相关而非因果。（√）

23.云计算3中典型的服务模式：IaaS（基础设施即服务），PaaS（平台即服务），SaaS（软件

即服务）。（ √）

24.web2.0特征之一就是物联网原创内容。（ ×）

25.1PB（1024TB）的数据能够存储到一张仅DVD大小的聚合物碟片上。（√）

26.NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库

支持ACID和SQL等特性。（ √）

27.HBase采用行键、列族、列限定符、时间戳来定位一个单元格。（√）

28.行键是按照字典序存储。（ √）

29.每个Application都有自己专属的Executor进程，并且该进程在Application运行期间一直

驻留。Executor进程以多线程的方式运行Task。 （√）

30.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。（√）

31.Hadoop属于开发运行环境中的运行环境。 （√）

32.为保证一致性，关系数据库遵守ACID模型，NoSQL数据库遵守BASE模型。（√）

33.HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件存储。（×）

34.相对于之前的HDFS10而言，HDFS2.0增加了HDFS HA和HDFS联邦等新特性。（√）

35.HDFS把硬件出错看成一种常态，设计了错误恢复机制。 （√）

36.UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。 （√）

37.Mnesia是一个集中式数据库管理系统。 （×）

38.UMP系统只为一个用户创建一个MySQL实例。 （×）

39.RDS实例或简称“实例”，是用户购买RDS服务的基本单位。 （√）

40.Map函数和Reduce函数都是以key,value作为输入。 （√）

41.MapReduce程序一定要用java来写。（×）

42.词频计算是典型的分组聚合运算。 （√）

43.Tez支持DAG作业的计算框架，对作业的操作进行重新分解和组合，解决了不同的MapReduce任务之间存在重复操作，降低效率的问题。（√）

44.流计算秉承一个基本理念，即数据的价值随着时间的流逝而降低，如用户点击流。（√）

45.分布式数据库HBase的数据类型只有字符串。（√）

46.新建RDS账号，MySQL实例支持最多创建20个账号，SQL Server实例支持最多创建50个账号。（×）

47.HDFS HA提供两个名称节点，很好的解决了可扩展性、系统性能和隔离性三个方面的问题。（×）

48.Spark Streaming的原理是将数据分解成一系列短小的批处理作业。（√）

49.Hadoop擅长批处理，不适合流计算。（√）

50.Shuffle过程是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。（√）

51.HDFS HA本质上不是单名称节点。（×）

52.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。（√）

53.RDD在Spark架构中运行第一步是创建RDD对象。（√）

54.UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。（√）

55.BigTable是一个分布式存储系统，使用谷歌分布式文件系统MapReduce作为底层数据存储。（×）

56.在用户购买RDS实例时，所选择的内存大小已经决定了该实例的最大连接数。（√）

57.MapReduce设计的一个理念是“计算向数据靠拢”,而不是“数据向计算靠拢” （√）

58.HBase操作不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等。（√）

59.资源池是为MySQL实例分配资源的基本单位。（√）

60.split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。 （√）

补充：

Web2.0网站系统通常要求严格的数据库事务。（×）

YARN架构设计基本思路就是“放权” (√)

Reduce从©读取数据。

A.本地存储 B.磁盘 C.硬盘 D.主存

“软状态”是指（状态可以有一段时间不同步，具有一定的滞后性）。

5.Map端的所有Shuffle过程结束后，所有Map输出结果都保存在Map机器的本地磁盘上 (√) P138

16.在许多企业实际应用中，Hadoop和Spark的统一部署是一种比较现实合理的选择。（）。

√

23.在流处理流程中，实时查询服务可以不断更新结果，并将用户所需的结果实时推送给用户。（）

√

24.Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成了一套完整的生态系统。（）

√

26.DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系。（）

√

27.Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。（）

√

28.一个Application由一个Driver和若干个Job构成，一个Job由多个Stage构成，一个Stage由多个没有Shuffle关系的Task组成。（）

√

29.Stage的类型包括两种：和。

ShuffleMapStage，ResultStage

30.Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作。（）

√

分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类：一类叫__________；另一类叫__________。(P43)主节点/名称节点，从节点/数据节点

HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件存储。 错误 P46

在HDFS中，名称节点负责管理分布式文件系统的命名空间，保存了两个核心的数据结构，即__________和__________。（P46）FsImage，EditLog

分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类:一类叫主节点,另一类叫从节点。

HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言，HDFS要实现以下目标：__________。(P45) D

(1)兼容廉价的硬件设备

(2)流数据读写

(3)大数据集

4)复杂的文件模型

5)强大的跨平台兼容性

A. (1)(2)(3)(4) B. 1)(2)(4)(5) C. 2)(3)(4)(5) D. 1)(2)(3)(5)

HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用局限性，主要包括以下几个方面：**********。(P45) AB

不适合低延迟数据访问

无法高效存储大量小文件

不支持单用户写入及任意修改文件

硬件设备昂贵

为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，这种多副本方式具有以下几个优点：**********。（P50）BCD

容易修改数据问题

加快数据传输速度

保证数据的可靠性

容易检查数据错误

1.HDFS采用块的概念，默认的一个块大小是64MB。 （ ） (P46) √

2.在HDFS的设计中，第二名称节点起到了名称节点的“检查点”和“热备份”的作用，因为有了第二名称节点的存在，当名称节点发生故障时，系统就不会丢失元数据信息。

（ ） （P48）×

HDFS把硬件出错看成一种常态，设计了错误恢复机制。 P60 对

第四章

填空

1.HBase是针对谷歌BigTable的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。 P63 选择

2.BigTable是一个分布式存储系统，利用谷歌提出的__________分布式并行计算模型来处理海量数据。 P63 MapReduce

3.HBase只有一个索引——__________，通过巧妙的设计，HBase中的所有访问方法，或者通过行健访问，或者通过行健扫描，从而使得整个系统不会慢下来。 P65 行健

4.__________是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求。 选择 P75 Region服务器

判断

1.BigTable是一个分布式存储系统，使用谷歌分布式文件系统MapReduce作为底层数据存储。 错 P63

2.分布式数据库HBase的数据类型只有字符串。 对 P64

3.HBase操作不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等。

对 P64

4.在HBase中执行更新操作时，会在生成一个新版本之前删除数据旧的版本。 P65 错

5.HBase的系统架构中的客户端是指用户。 P74 错

单选

1.当一个客户端从Zookeeper服务器上拿到-ROOT-表的地址以后，就可以通过________找到用户数据表所在的Region服务器，并直接访问该Region服务器获得数据。

A.一级寻址 B.二级寻址 C.三级寻址 D.四级寻址

P74 C

多选

1.HBase的实现包括3个主要的功能组件：__________。

A.库函数

B.一个Master主服务器

C.一个Region服务器

D.许多个Region服务器

ABD P71

第五六章

下列选项中（B）不是NoSQL数据库的特点。

灵活的可扩展性 B.动态的数据迁移 C.与云计算紧密融合 D.灵活的数据模型

NoSQL的英文全称（Not only Structual Query Language）。

NoSQL的英文全称为 No Structual Query Language。×

关系数据库无法满足Web2.0的需求主要表现在哪几个方面（ACD）

无法满足海量数据的管理需求

无法满足数据完整性的需求

无法满足数据高并发性的需求

无法满足高可扩展性和高可用性的需求

与分布式对应的方式是（集中式）

Hadoop属于开发运行环境中的运行环境。√

为保证一致性，关系数据库遵守ACID模型，NoSQL数据库遵守BASE模型。√

NoSQL数据库的明显优势在于（BCD）。

实现数据完整性

支持超大规模数据存储

灵活的数据模型可以很好的支持Web2.0应用

具有强大的横向扩展能力

Web2.0网站系统通常要求严格的数据库事务。×

NoSQL的四大类型为键值数据库、（列族数据库）、文档数据库、图数据库

下列选项中（C）不是文档数据库的优点。

性能好 B.灵活性高 C.统一的查询语法 D.数据结构灵活

NoSQL的三大基石包括（CAP、BASE、最终一致性）。

CAP中的C与CAID中的C的含义一样。×

NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。√

最终一致性根据更新数据后各进程访问到数据的时间和方式的不同，可以进行区别。下列说法正确的是（ABCD）。

因果一致性

“读己之所写”一致性

会话一致性

单调一致性

“软状态”是指（状态可以有一段时间不同步，具有一定的滞后性）。

云计算八大优势为按需服务、随时服务、通用性、（高可靠性）、极其廉价、超大规模、（虚拟化）、高扩展性。

云计算主要包括3种类型，即（IaaS、PaaS、SaaS）。

云计算可同时为众多用户提供服务。√

下列关于云数据库的特点，错误的是（A）。

高可靠性 B.高可扩展性 C.采用多租形式 D.支持资源有效分布

关系数据库采用（关系数据）模型，NoSQL数据库采用（非关系数据）模型。

云数据库有专属与自己的数据模型。×

UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。√

下列为UMP系统架构设计遵循的原则的是（ABCD）。

保持单一的系统对外入口，并且为系统内部维护单一的资源池

保持单一故障，保证服务的高可用性

保证系统具有良好的可伸缩性，能够动态地增加、删减计算与存储节点

保证分配给用户的资源是弹性可伸缩的，资源之间相互隔离，保证应用和数据的安全

Mnesia是一个集中式数据库管理系统。×

下列选项不属于Zookeeper主要发挥的作用的是（D）。

作为全局的配置服务器

提供分布式锁

监视所有MySQL实例

支持透明的数据分片

UMP系统借助于（）来实现集群内部的负载均衡。

Mnesia B.Zookeeper C.LVS D.Controller服务器

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级前端工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Web前端开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：前端）

最后

推荐一些系统学习的途径和方法。

每个Web开发人员必备，很权威很齐全的Web开发文档。作为学习辞典使用，可以查询到每个概念、方法、属性的详细解释，注意使用英文关键字搜索。里面的一些 HTML，CSS，HTTP 技术教程也相当不错。

开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】

HTML 和 CSS：

全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**

[外链图片转存中…(img-vj3GvUdi-1711031303220)]
[外链图片转存中…(img-dwJKg0hg-1711031303220)]
[外链图片转存中…(img-TldWL2Yq-1711031303221)]
[外链图片转存中…(img-o0d7lHkr-1711031303221)]

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：前端）
[外链图片转存中…(img-HPlH9nNM-1711031303222)]

最后

推荐一些系统学习的途径和方法。

每个Web开发人员必备，很权威很齐全的Web开发文档。作为学习辞典使用，可以查询到每个概念、方法、属性的详细解释，注意使用英文关键字搜索。里面的一些 HTML，CSS，HTTP 技术教程也相当不错。

开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】

HTML 和 CSS：