大数据基础习题（2）

填空： 1.分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类：一类叫_；另一类叫aaS。 5.NoSQL数据库采用的是_非关系数据模型。

6.MapReduce1.0采用__Master/Slave __架构设计，包括一个JobTracker和若干TaskTracker 7.RDD是弹性分布式____数据集。是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 8.阶段/Stage是作业调度的基本单位。 9.colFamily指的是__列族__。 10.与分布式对应的方式是____集中式_____.。 11.大规模数据集的处理包括分布式存储和__分布式计算_____两个核心环节。 12.MapReduce的核心思想可以用___分而治之____来描述。 13.写出大数据特征的4个V:数据量大volume，数据类型繁多 variety，处理速度快velocity，价值密度低value 14.NoSQL的四大类型为键值数据库、_列族数据库、文档数据库、图数据库 15.在HDFS中，名称节点负责管理分布式文件系统的命名空间，保存了两个核心的数据结构，即_FsImage和EditLog。 16.BigTable是一个分布式存储系统，利用谷歌提出的MapReduce_分布式并行计算模型来处理海量数据。 17.Shuffle过程分为_Map端的操作和Reduce端的操作。 18.数据总体上可以分为流数据__和静态数据_____。答案：流数据，静态数据 19.UMP系统功能为_容灾_、读写分离、资源管理、资源调度、资源隔离和数据安全。 20.目前Spark支持三种不同类型的部署方式，包括__standalone____、___Spark on Mesos___、____Spark on YARN____。答案：standalone、Spark on Mesos、Spark on YARN。 21.RDS英文全称为__Relational Database Service。 22.MapReduce的核心函数：Map和Reduce。 23.MapReduce整个工作流程的核心环节是__Shuffle__过程。 24.Spark使用_DAG执行引擎以支持循环数据流与内存计算. 25.HBase只有一个索引——行键_，通过巧妙的设计，HBase中的所有访问方法，或者通过行健访问，或者通过行健扫描，从而使得整个系统不会慢下来。 26.Scala是一门现代的多范式编程语言，平滑的集成了面向对象_和函数式_的特性，旨在以简练优雅的方式来表达常用编程模式。 27.RDD中的依赖关系分为__窄依赖_与宽依赖。答案：窄依赖，宽依赖 28.YARN体系结构中包含了三个组件：ResourceManager、ApplicationMaster _、NodeManager

29.写出大数据特征的4个V？ 数据量大volume，数据类型繁多 variety，处理速度快velocity，价值密度低value

30.信息科技为大数据时代提供技术支撑有哪些？ 在信息存储方面，来自斯威本科技大学(Swinburne University of Technology)的研究团队，在2013年6月29日刊出的《自然通讯(Nature Communications)》杂志的文章中，描述了一种全新的数据存储方式，可将1PB(1024TB)的数据存储到一张仅DVD大小的聚合物碟片上。 在信息处理方面，CPU处理能力大幅提升； 在信息传输方面，网络带宽不断增加。

31.参考下图阐述大数据的特征。 大数据的特征被总结为多个V。该图中给出了4个V，分别是：大数据的量Volume之大，大数据的速度velocity之快，大数据的多样化variety,以及大数据的价值value密度之低。

32.图中数字3代表什么意思? 备份冗余数目

33.在spark-shell中，输入语句完成如下功能：打开本地文件/usr/local/a.txt，并用a对其引用。val a=sc.textFile("file:///usr/local/a.txt")#&val a=sc.textFile("/usr/local/a.txt")

34.在spark-shell中，写出实现如下功能的语句：打开Hadoop分布式文件/usr/local/a.txt，并保存在word中。 答案:val word=sc.textFile("hdfs:///usr/local/a.txt")

单选： 1.下述关于hadoop的阐述，正确的是 (D) A. 是一个分布式数据库与并行计算系统 B. 是一个分布式存储系统与分布式数据库 C. 是一个集中式存储与分布式并行运算系统 D. 是一个分布式存储与分布式并行运算系统

2.当一个客户端从Zookeeper服务器上拿到-ROOT-表的地址以后，就可以通过 (C) 找到用户数据表所在的Region服务器，并直接访问该Region服务器获得数据。
A. A.一级寻址 B. B.二级寻址 C. C.三级寻址 D. D.四级寻址

3.(A)是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求。 A. Region服务器 B. Store C. MemStore缓存 D. StoreFile文件

4.下列选项中_B_不是NoSQL数据库的特点。 A. 灵活的可扩展性 B. 动态的数据迁移 C. 灵活的数据模型 D. 与云计算紧密结合 5.下列关于云数据库的特点，错误的是_A_ A. 灵活的关系数据模型 B. 较低的使用代价 C. 高性能 D. 动态可扩展性

6.MapReduce是_C_编程框架。 A. 分布式并发 B. 非分布式并行 C. 分布式并行 D. 非分布式并发

7.JobTracker的三大功能不包括(D) A. 资源管理 B. 任务调度 C. 任务监控 D. 调度Map/Reduce任务的执行

8.“用户原创内容”的数据产生方式对应于下面哪个阶段？(B) A. web1.0 B. web2.0 C. 互联网 D. 物联网

9.以下不属于Action API的是(B)。 A. count() B. map(func) C. first() D. reduce(func)

10.scala>valwordCounts=textFile.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((a,b) => a + b) scala > wordCounts.collect() 在上面的代码中属于“行动”类型的操作的是(D)。 A. flatMap() B. Map() C. reduceByKey() D. collect()

11.Map任务的输入文件、Reduce任务的处理结果都是保存在(B)的。 A. 本地存储 B. 分布式文件系统 C. 硬盘 D. 主存

12.以下哪项不是MapReduce体系结构的主要组成部分(D) A. Client B. TaskTracker C. JobTracker D. TaskScheduler

13.下列选项中(C)不是文档数据库的优点 A. 性能好 B. 复杂性低 C. 统一的查询语法 D. 数据结构灵活

14.HBase是针对谷歌BigTable的开源实现，是一个高可靠、__B___、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。 A. A.高功能 B. B.高性能 C. C.低效率 D. D.高质量

15.UMP系统借助于__C___来实现集群内部的负载均衡。 A. 主从库实现用户调度 B. 主从库实现用户代理服务器 C. 利用主从库实现用户操作的分离 D. 主从库实现用户日志管理

16.Spark的主要编程语言是：(B)。 A. Java B. Scala C. Python D. R

17.以下属于商业级流计算的是：(A) A. IBM InfoSphere Streams B. Twitter Storm C. Yahoo! S4 D. FaceBook Puma

18.下列选项不属于Zookeeper主要发挥的作用的是__D A. 提供分布式锁 B. 监控所有MySQL实例 C. 作为全局的配置服务器 D. 支持透明的数据分片作用

19.以下哪项步骤不包含在溢写过程中(B) A. 分区 B. 文件归并 C. 排序 D. 合并

20.下列哪个不是连接RDS for MySQL数据库的方法(C) A. 使用客户端MySQL-Front访问 B. 使用数据库管理工具Navicat_MySQL C. Shell命令 D. 使用MySQL命令登录

21.MapReduce的处理单位是(B) A. block B. split C. Map D. RR

22.以下不属于hadoop存在的缺点的是：(B) A. 表达能力有限 B. 编程模式灵活 C. 磁盘IO开销大 D. 延迟高

23.谷歌的GFS和MapReduce等大数据技术受到追捧，Hadoop平台开始大行其道是在大数据发展的那个时期(B ) A. 第一阶段 B. 第二阶段 C. 第三阶段 D. 第四阶段

24.每个Map任务分配一个缓存，MapReduce默认缓存是(A) A. 100MB B. 80MB C. 120MB D. 200MB

多选： 1.MapReduce执行的全过程包括以下几个主要阶段(ABCD) A. 从分布式文件系统读入数据 B. 执行Map任务输出中间结果 C. 通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务 D. 执行Reduce任务得到最终结果并写入分布式系统文件

2.HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用局限性，主要包括以下几个方面 (AB) A. A.不适合低延迟数据访问 B. B.无法高效存储大量小文件 C. C.不支持单用户写入及任意修改文件 D. D.硬件设备昂贵

3.最终一致性根据更新数据后各进程访问到数据的时间和方式的不同，可以进行区别。下列说法正确的是 ABCD A. 因果一致性 B. 读己之所写一致性 C. 单调读一致性$会话一致性 D. 单调写一致性

4.Reduce端的Shuffle过程包括(ABD) A. “领取”数据 B. 归并数据 C. 溢写 D. 把数据输入到Reduce任务

5.采用HDFS联邦的设计方式，可解决单名称节点以下问题(ABD) A. HDFS集群可扩展性 B. 性能更高效 C. 单点故障问题 D. 良好的隔离性

6.MapReduce1.0架构设计具有一些很难克服的缺陷，包括(ABCD) A. 存在单点故障 B. JobTracker“大包大揽”导致任务过重 C. 容易出现内存溢出 D. 资源划分不合理

7.三次信息化浪潮的标志有哪些(ABC) A. 个人计算机 B. 互联网 C. 物联网，云计算和大数据 D. 人工智能

8.信息科技需要解决的核心问题包括：(ACD) A. 信息存储 B. 信息可视 C. 信息传输 D. 信息处理

9.以下属于批处理大数据计算的产品有：(AC) A. MapReduce B. Storm C. Spark D. Pregel

10.以下属于图计算的产品有：(ABCD) A. Pregel B. GraphX C. Giraph D. PowerGraph

11.访问HBase表中的行有哪几种方式(ABD) A. 通过单个行键 B. 行键的区间 C. 列族 D. 全表扫描

12.大数据对科学研究有哪些影响(ABCD) A. 第一范式：实验科学 B. 第二范式：理论科学 C. 第三范式：计算科学 D. 第四范式：数据密集型科学

13.关系数据库无法满足Web2.0的需求主要表现在哪几个方面(ACD) A. 无法满足海量数据的管理需求 B. 无法满足数据完整性 C. 无法满足数据高并发的需求 D. 无法满足高可扩展性和高可用性的需求

14.人类科学研究范式包括：(ABCD) A. 实验 B. 理论 C. 计算 D. 数据

15.下面关于MapReduce工作流程说法正确的是(ABD) A. 不同的Map任务之间不会进行通信。 B. 不同的Reduce任务之间也不会发生任何信息交换。 C. 用户能显式的从一台机器向另一台机器发送信息 D. 所有的数据交换都是通过MapReduce框架自身去实现的

16.与传统并行计算框架相比，以下哪些是MapReduce的优势(ABC) A. 非共享式，容错性好 B. 普通PC机，便宜，扩展性好 C. 编程/学习难度较简单 D. 适用场景为实时、细粒度计算、计算密集型

17.Hadoop1.0的核心组件主要存在以下不足(ABCD) A. 难以看到程序整体逻辑 B. 开发者自己管理作业之间的依赖关系 C. 执行迭代操作效率低 D. 资源浪费

18.NoSQL数据库的明显优势在于(BCD) A. 数据的完整性 B. 可以支持超大规模数据存储 C. 灵活的数据模型 D. 强大的横向扩展能力

19.HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言，HDFS要实现以下目标： (1)兼容廉价的硬件设备 (2)流数据读写 (3)大数据集 (4)复杂的文件模型 (5)强大的跨平台兼容性 (D) A. A.(1)(2)(3)(4) B. B.(1)(2)(4)(5) C. C.(2)(3)(4)(5) D. D.(1)(2)(3)(5)

20.Map端的Shuffle过程包括以下哪几个步骤。(ABCD) A. 输入数据和执行Map任务 B. 写入缓存 C. 溢写(分区、排序、合并) D. 文件归并

21.MapReduce的广泛应用包括(ABCD) A. 关系代数运算 B. 分组与聚合运算 C. 矩阵乘法 D. 矩阵-向量乘法

22.大数据处理主要包括三个类型，分别是：(ABC)。 A. 复杂的批量数据处理 B. 基于历史数据的交互式查询 C. 基于实时数据流的数据处理 D. 集成数据

23.UMP系统采用哪两种资源隔离方式(AB) A. 用Cgroup限制MySQL进程资源 B. 在Proxy服务器端限制QPS C. 通过MySQL实例的迁移 D. 采用资源池机制管理数据库服务器资源

24.MapReduce执行的全过程包括以下几个主要阶段(ABCD) A. 从分布式文件系统读入数据 B. 执行Map任务输出中间结果 C. 通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务 D. 执行Reduce任务得到最终结果并写入分布式系统文件

25.以下(ACD)产品使Hadoop功能更加完善. A. Pig B. QJM C. Tez D. Oozie

26.以下属于流计算的产品有：(ABCD) A. Storm B. S4 C. Flume D. Puma

27.基于MapReduce模型的关系上的标准运算,包括(ABCD) A. 选择运算 B. 并、交、差运算 C. 投影运算 D. 自然连接运算

28.不同的计算框架统一运行在YARN中，可以带来如下好处：(ACD) A. 计算资源按需伸缩 B. 计算资源平均分配 C. 不用负载应用混搭，集群利用率高 D. 共享底层存储，避免数据跨集群迁移

29.数据采集系统的基本架构一般有以下三个部分：(ABD) A. Agent B. Collector C. Calculate D. Store

30.以下属于Spark的主要特点的是：(ABCD)。 A. 运行速度快 B. 容易使用 C. 通用性 D. 运行模式多样

31.Spark采用RDD以后能够实现高效计算的原因主要在于：(ABD) A. 高效的容错性 B. 中间结果持久化到内存 C. 两种依赖方式 D. 存放的数据可以是Java对象

32.下列为UMP系统架构设计遵循的原则的是(ABCD) A. 保持单一的系统对外入口，并且为系统内部维护单一的资源池 B. 消除单点故障，保证服务的高可用性 C. 保证系统具有良好的可伸缩性，能动态地增加、删减计算与存储节点 D. 保证分配给用户的资源也是弹性可伸缩的，资源之间相互隔离，确保应用和数据的安全

33.信息科技为大数据时代提供的支撑(BCD) A. 计算机设备廉价 B. 存储设备容量不断增加 C. CPU处理能力大幅度提升 D. 网络带宽不断增加

34.为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，这种多副本方式具有以下几个优点：(BCD) A. A.容易修改数据问题 B. B.加快数据传输速度 C. C.保证数据的可靠性 D. D.容易检查数据错误

35.UMP系统是如何保障数据安全的(ABCD) A. SSL数据库连接 B. 数据访问IP白名单 C. 记录用户操作日志 D. SQL拦截

36.HBase的实现包括3个主要的功能组件：(ABD) A. A.库函数 B. B.一个Master主服务器 C. C.一个Region服务器 D. D.许多个Region服务器

判断： 1.分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类:一类叫主节点,另一类叫从节点。(√)
2.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。Master上运行JobTracker，Slave上运行TaskTracker . (√) 3.HDFS采用块的概念，默认的一个块大小是64MB。 (√)
4.HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件 存储。(×) 5.在HDFS的设计中，第二名称节点起到了名称节点的“检查点”和“热备份”的作用，因 为有了第二名称节点的存在，当名称节点发生故障时，系统就不会丢失元数据信息。(×) 6.在HBase中执行更新操作时，会在生成一个新版本之前删除数据旧的版本。(×)
7.HBase的系统架构中的客户端是指用户。(×)
8.CAP中的C与CAID中的C的含义一样。 (×)
9.NoSQL的英文全称为 No Structual Query Language。( ×)
10.云计算八大优势为按需服务、随时服务、通用性、高可靠性、极其廉价、超大规模、 虚拟化、高扩展性。(√)
11.云计算可同时为众多用户提供服务。(√) 12.云数据库有专属与自己的数据模型。( ×)
13.MapReduce是Hadoop MapReduce的开源实现.(×)
14.MapReduce运行在分布式文件系统GFS上。 (√)
15.HDFS联邦是真正的分布式设计。 (×)
16.MapReduce1.0中资源被强制等量划分为多个“槽”,槽又被进一步划分为Map槽和 Reduce槽，分别供Map任务和Reduce任务使用，彼此之间能使用分配给对方的槽。(×)
17.一个作业包含多个RDD及作用于相应RDD上的各种操作。(√) 18.RDD提供了一组丰富的操作以支持常见的数据运算，分为“行动”(Action)和“转换” Transformation。 ( √)
19.RDD本质上是一个支持读写的分区记录集合，可以直接修改。 ( ×) 20.RDD采用了惰性调用，即在RDD执行过程中，真正的计算发生在RDD的“行动”操作， 对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数 据集以及RDD生成的轨迹，不会触发真正的计算。(√)
21.人类社会的数据产生大致经历了3个阶段：运营式系统阶段，用户原创内容阶段和感知 式系统阶段。( √)
22.大数据具有的三大特征：全样而非抽样，效率而非精确，相关而非因果。(√) 23.云计算3中典型的服务模式：IaaS(基础设施即服务)，PaaS(平台即服务)，SaaS(软件 即服务)。( √)
24.web2.0特征之一就是物联网原创内容。( ×)
25.1PB(1024TB)的数据能够存储到一张仅DVD大小的聚合物碟片上。(√)
26.NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库 支持ACID和SQL等特性。( √)
27.HBase采用行键、列族、列限定符、时间戳来定位一个单元格。(√)
28.行键是按照字典序存储。( √)
29.每个Application都有自己专属的Executor进程，并且该进程在Application运行期间一直 驻留。Executor进程以多线程的方式运行Task。 (√) 30.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。(√) 31.Hadoop属于开发运行环境中的运行环境。 (√) 32.为保证一致性，关系数据库遵守ACID模型，NoSQL数据库遵守BASE模型。(√) 33.HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件存储。(×) 34.相对于之前的HDFS10而言，HDFS2.0增加了HDFS HA和HDFS联邦等新特性。(√) 35.HDFS把硬件出错看成一种常态，设计了错误恢复机制。 (√) 36.UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。 (√) 37.Mnesia是一个集中式数据库管理系统。 (×) 38.UMP系统只为一个用户创建一个MySQL实例。 (×) 39.RDS实例或简称“实例”，是用户购买RDS服务的基本单位。 (√) 40.Map函数和Reduce函数都是以key,value作为输入。 (√) 41.MapReduce程序一定要用java来写。(×) 42.词频计算是典型的分组聚合运算。 (√) 43.Tez支持DAG作业的计算框架，对作业的操作进行重新分解和组合，解决了不同的MapReduce任务之间存在重复操作，降低效率的问题。(√) 44.流计算秉承一个基本理念，即数据的价值随着时间的流逝而降低，如用户点击流。(√) 45.分布式数据库HBase的数据类型只有字符串。(√) 46.新建RDS账号，MySQL实例支持最多创建20个账号，SQL Server实例支持最多创建50个账号。(×) 47.HDFS HA提供两个名称节点，很好的解决了可扩展性、系统性能和隔离性三个方面的问题。(×) 48.Spark Streaming的原理是将数据分解成一系列短小的批处理作业。(√) 49.Hadoop擅长批处理，不适合流计算。(√) 50.Shuffle过程是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。(√) 51.HDFS HA本质上不是单名称节点。(×) 52.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。(√) 53.RDD在Spark架构中运行第一步是创建RDD对象。(√) 54.UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。(√) 55.BigTable是一个分布式存储系统，使用谷歌分布式文件系统MapReduce作为底层数据存储。(×) 56.在用户购买RDS实例时，所选择的内存大小已经决定了该实例的最大连接数。(√) 57.MapReduce设计的一个理念是“计算向数据靠拢”,而不是“数据向计算靠拢” (√) 58.HBase操作不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等。(√) 59.资源池是为MySQL实例分配资源的基本单位。(√) 60.split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。 (√)

补充： Web2.0网站系统通常要求严格的数据库事务。(×) YARN架构设计基本思路就是“放权” (√)

Reduce从(C)读取数据。
A.本地存储 B.磁盘 C.硬盘 D.主存

“软状态”是指(状态可以有一段时间不同步，具有一定的滞后性)。

5.Map端的所有Shuffle过程结束后，所有Map输出结果都保存在Map机器的本地磁盘上 (√) P138 16.在许多企业实际应用中，Hadoop和Spark的统一部署是一种比较现实合理的选择。()。 √ 23.在流处理流程中，实时查询服务可以不断更新结果，并将用户所需的结果实时推送给用户。() √ 24.Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成了一套完整的生态系统。() √ 26.DAG：是Directed Acyclic Graph(有向无环图)的简称，反映RDD之间的依赖关系。() √ 27.Spark运行架构包括集群资源管理器(Cluster Manager)、运行作业任务的工作节点(Worker Node)、每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的执行进程(Executor)。() √ 28.一个Application由一个Driver和若干个Job构成，一个Job由多个Stage构成，一个Stage由多个没有Shuffle关系的Task组成。() √ 29.Stage的类型包括两种：_和_。 ShuffleMapStage，ResultStage 30.Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作。() √