23.谷歌的GFS和MapReduce等大数据技术受到追捧,Hadoop平台开始大行其道是在大数据发展的那个时期(B ) A. 第一阶段 B. 第二阶段 C. 第三阶段 D. 第四阶段
24.每个Map任务分配一个缓存,MapReduce默认缓存是(A) A. 100MB B. 80MB C. 120MB D. 200MB
多选: 1.MapReduce执行的全过程包括以下几个主要阶段(ABCD) A. 从分布式文件系统读入数据 B. 执行Map任务输出中间结果 C. 通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务 D. 执行Reduce任务得到最终结果并写入分布式系统文件
2.HDFS特殊的设计,在实现上述优良特性的同时,也使得自身具有一些应用局限性,主要包括以下几个方面 (AB) A. A.不适合低延迟数据访问 B. B.无法高效存储大量小文件 C. C.不支持单用户写入及任意修改文件 D. D.硬件设备昂贵
3.最终一致性根据更新数据后各进程访问到数据的时间和方式的不同,可以进行区别。下列说法正确的是 ABCD A. 因果一致性 B. 读己之所写一致性 C. 单调读一致性$会话一致性 D. 单调写一致性
4.Reduce端的Shuffle过程包括(ABD) A. “领取”数据 B. 归并数据 C. 溢写 D. 把数据输入到Reduce任务
5.采用HDFS联邦的设计方式,可解决单名称节点以下问题(ABD) A. HDFS集群可扩展性 B. 性能更高效 C. 单点故障问题 D. 良好的隔离性
6.MapReduce1.0架构设计具有一些很难克服的缺陷,包括(ABCD) A. 存在单点故障 B. JobTracker“大包大揽”导致任务过重 C. 容易出现内存溢出 D. 资源划分不合理
7.三次信息化浪潮的标志有哪些(ABC) A. 个人计算机 B. 互联网 C. 物联网,云计算和大数据 D. 人工智能
8.信息科技需要解决的核心问题包括:(ACD) A. 信息存储 B. 信息可视 C. 信息传输 D. 信息处理
9.以下属于批处理大数据计算的产品有:(AC) A. MapReduce B. Storm C. Spark D. Pregel
10.以下属于图计算的产品有:(ABCD) A. Pregel B. GraphX C. Giraph D. PowerGraph
11.访问HBase表中的行有哪几种方式(ABD) A. 通过单个行键 B. 行键的区间 C. 列族 D. 全表扫描
12.大数据对科学研究有哪些影响(ABCD) A. 第一范式:实验科学 B. 第二范式:理论科学 C. 第三范式:计算科学 D. 第四范式:数据密集型科学
13.关系数据库无法满足Web2.0的需求主要表现在哪几个方面(ACD) A. 无法满足海量数据的管理需求 B. 无法满足数据完整性 C. 无法满足数据高并发的需求 D. 无法满足高可扩展性和高可用性的需求
14.人类科学研究范式包括:(ABCD) A. 实验 B. 理论 C. 计算 D. 数据
15.下面关于MapReduce工作流程说法正确的是(ABD) A. 不同的Map任务之间不会进行通信。 B. 不同的Reduce任务之间也不会发生任何信息交换。 C. 用户能显式的从一台机器向另一台机器发送信息 D. 所有的数据交换都是通过MapReduce框架自身去实现的
16.与传统并行计算框架相比,以下哪些是MapReduce的优势(ABC) A. 非共享式,容错性好 B. 普通PC机,便宜,扩展性好 C. 编程/学习难度较简单 D. 适用场景为实时、细粒度计算、计算密集型
17.Hadoop1.0的核心组件主要存在以下不足(ABCD) A. 难以看到程序整体逻辑 B. 开发者自己管理作业之间的依赖关系 C. 执行迭代操作效率低 D. 资源浪费
18.NoSQL数据库的明显优势在于(BCD) A. 数据的完整性 B. 可以支持超大规模数据存储 C. 灵活的数据模型 D. 强大的横向扩展能力
19.HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言,HDFS要实现以下目标: (1)兼容廉价的硬件设备 (2)流数据读写 (3)大数据集 (4)复杂的文件模型 (5)强大的跨平台兼容性 (D) A. A.(1)(2)(3)(4) B. B.(1)(2)(4)(5) C. C.(2)(3)(4)(5) D. D.(1)(2)(3)(5)
20.Map端的Shuffle过程包括以下哪几个步骤。(ABCD) A. 输入数据和执行Map任务 B. 写入缓存 C. 溢写(分区、排序、合并) D. 文件归并
21.MapReduce的广泛应用包括(ABCD) A. 关系代数运算 B. 分组与聚合运算 C. 矩阵乘法 D. 矩阵-向量乘法
22.大数据处理主要包括三个类型,分别是:(ABC)。 A. 复杂的批量数据处理 B. 基于历史数据的交互式查询 C. 基于实时数据流的数据处理 D. 集成数据
23.UMP系统采用哪两种资源隔离方式(AB) A. 用Cgroup限制MySQL进程资源 B. 在Proxy服务器端限制QPS C. 通过MySQL实例的迁移 D. 采用资源池机制管理数据库服务器资源
24.MapReduce执行的全过程包括以下几个主要阶段(ABCD) A. 从分布式文件系统读入数据 B. 执行Map任务输出中间结果 C. 通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务 D. 执行Reduce任务得到最终结果并写入分布式系统文件
25.以下(ACD)产品使Hadoop功能更加完善. A. Pig B. QJM C. Tez D. Oozie
26.以下属于流计算的产品有:(ABCD) A. Storm B. S4 C. Flume D. Puma
27.基于MapReduce模型的关系上的标准运算,包括(ABCD) A. 选择运算 B. 并、交、差运算 C. 投影运算 D. 自然连接运算
28.不同的计算框架统一运行在YARN中,可以带来如下好处:(ACD) A. 计算资源按需伸缩 B. 计算资源平均分配 C. 不用负载应用混搭,集群利用率高 D. 共享底层存储,避免数据跨集群迁移
29.数据采集系统的基本架构一般有以下三个部分:(ABD) A. Agent B. Collector C. Calculate D. Store
30.以下属于Spark的主要特点的是:(ABCD)。 A. 运行速度快 B. 容易使用 C. 通用性 D. 运行模式多样
31.Spark采用RDD以后能够实现高效计算的原因主要在于:(ABD) A. 高效的容错性 B. 中间结果持久化到内存 C. 两种依赖方式 D. 存放的数据可以是Java对象
32.下列为UMP系统架构设计遵循的原则的是(ABCD) A. 保持单一的系统对外入口,并且为系统内部维护单一的资源池 B. 消除单点故障,保证服务的高可用性 C. 保证系统具有良好的可伸缩性,能动态地增加、删减计算与存储节点 D. 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离,确保应用和数据的安全
33.信息科技为大数据时代提供的支撑(BCD) A. 计算机设备廉价 B. 存储设备容量不断增加 C. CPU处理能力大幅度提升 D. 网络带宽不断增加
34.为了保证系统的容错性和可用性,HDFS采用了多副本方式对数据进行冗余存储,这种多副本方式具有以下几个优点:(BCD) A. A.容易修改数据问题 B. B.加快数据传输速度 C. C.保证数据的可靠性 D. D.容易检查数据错误
35.UMP系统是如何保障数据安全的(ABCD) A. SSL数据库连接 B. 数据访问IP白名单 C. 记录用户操作日志 D. SQL拦截
36.HBase的实现包括3个主要的功能组件:(ABD) A. A.库函数 B. B.一个Master主服务器 C. C.一个Region服务器 D. D.许多个Region服务器
判断: 1.分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类:一类叫主节点,另一类叫从节点。(√)
2.MapReduce框架采用了Master/Slave架构,包括一个Master和若干个Slave。Master上运行JobTracker,Slave上运行TaskTracker . (√) 3.HDFS采用块的概念,默认的一个块大小是64MB。 (√)
4.HDFS采用抽象的块概念可以简化系统设计,适合数据备份,但不可以支持大规模文件 存储。(×) 5.在HDFS的设计中,第二名称节点起到了名称节点的“检查点”和“热备份”的作用,因 为有了第二名称节点的存在,当名称节点发生故障时,系统就不会丢失元数据信息。(×) 6.在HBase中执行更新操作时,会在生成一个新版本之前删除数据旧的版本。(×)
7.HBase的系统架构中的客户端是指用户。(×)
8.CAP中的C与CAID中的C的含义一样。 (×)
9.NoSQL的英文全称为 No Structual Query Language。( ×)
10.云计算八大优势为按需服务、随时服务、通用性、高可靠性、极其廉价、超大规模、 虚拟化、高扩展性。(√)
11.云计算可同时为众多用户提供服务。(√) 12.云数据库有专属与自己的数据模型。( ×)
13.MapReduce是Hadoop MapReduce的开源实现.(×)
14.MapReduce运行在分布式文件系统GFS上。 (√)
15.HDFS联邦是真正的分布式设计。 (×)
16.MapReduce1.0中资源被强制等量划分为多个“槽”,槽又被进一步划分为Map槽和 Reduce槽,分别供Map任务和Reduce任务使用,彼此之间能使用分配给对方的槽。(×)
17.一个作业包含多个RDD及作用于相应RDD上的各种操作。(√) 18.RDD提供了一组丰富的操作以支持常见的数据运算,分为“行动”(Action)和“转换” Transformation。 ( √)
19.RDD本质上是一个支持读写的分区记录集合,可以直接修改。 ( ×) 20.RDD采用了惰性调用,即在RDD执行过程中,真正的计算发生在RDD的“行动”操作, 对于“行动”之前的所有“转换”操作,Spark只是记录下“转换”操作应用的一些基础数 据集以及RDD生成的轨迹,不会触发真正的计算。(√)
21.人类社会的数据产生大致经历了3个阶段:运营式系统阶段,用户原创内容阶段和感知 式系统阶段。( √)
22.大数据具有的三大特征:全样而非抽样,效率而非精确,相关而非因果。(√) 23.云计算3中典型的服务模式:IaaS(基础设施即服务),PaaS(平台即服务),SaaS(软件 即服务)。( √)
24.web2.0特征之一就是物联网原创内容。( ×)
25.1PB(1024TB)的数据能够存储到一张仅DVD大小的聚合物碟片上。(√)
26.NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力,还保持了传统数据库 支持ACID和SQL等特性。( √)
27.HBase采用行键、列族、列限定符、时间戳来定位一个单元格。(√)
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
视频,并且后续会持续更新**
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-d6CcyH4E-1713021198702)]
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!