先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
第三章
分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类:一类叫**_;另一类叫_。(P43)主节点/名称节点,从节点/数据节点 HDFS采用抽象的块概念可以简化系统设计,适合数据备份,但不可以支持大规模文件存储。 错误 P46 在HDFS中,名称节点负责管理分布式文件系统的命名空间,保存了两个核心的数据结构,即_和_**。(P46)FsImage,EditLog 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的,这些节点分为两类:一类叫主节点,另一类叫从节点。
HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言,HDFS要实现以下目标:____。(P45) D (1)兼容廉价的硬件设备 (2)流数据读写 (3)大数据集 4)复杂的文件模型 5)强大的跨平台兼容性 A. (1)(2)(3)(4) B. 1)(2)(4)(5) C. 2)(3)(4)(5) D. 1)(2)(3)(5)
HDFS特殊的设计,在实现上述优良特性的同时,也使得自身具有一些应用局限性,主要包括以下几个方面:_。(P45) AB 不适合低延迟数据访问 无法高效存储大量小文件 不支持单用户写入及任意修改文件 硬件设备昂贵 为了保证系统的容错性和可用性,HDFS采用了多副本方式对数据进行冗余存储,这种多副本方式具有以下几个优点:_。(P50)BCD 容易修改数据问题 加快数据传输速度 保证数据的可靠性 容易检查数据错误
1.HDFS采用块的概念,默认的一个块大小是64MB。 ( ) (P46) √ 2.在HDFS的设计中,第二名称节点起到了名称节点的“检查点”和“热备份”的作用,因为有了第二名称节点的存在,当名称节点发生故障时,系统就不会丢失元数据信息。 ( ) (P48)× HDFS把硬件出错看成一种常态,设计了错误恢复机制。 P60 对
第四章 填空 1.HBase是针对谷歌BigTable的开源实现,是一个高可靠、高性能、面向列、可伸缩的分布式数据库,主要用来存储非结构化和半结构化的松散数据。 P63 选择 2.BigTable是一个分布式存储系统,利用谷歌提出的**_分布式并行计算模型来处理海量数据。 P63 MapReduce 3.HBase只有一个索引——_,通过巧妙的设计,HBase中的所有访问方法,或者通过行健访问,或者通过行健扫描,从而使得整个系统不会慢下来。 P65 行健 4._**___是HBase中最核心的模块,负责维护分配给自己的Region,并响应用户的读写请求。 选择 P75 Region服务器
判断 1.BigTable是一个分布式存储系统,使用谷歌分布式文件系统MapReduce作为底层数据存储。 错 P63 2.分布式数据库HBase的数据类型只有字符串。 对 P64 3.HBase操作不存在复杂的表与表之间的关系,只有简单的插入、查询、删除、清空等。
对 P64 4.在HBase中执行更新操作时,会在生成一个新版本之前删除数据旧的版本。 P65 错 5.HBase的系统架构中的客户端是指用户。 P74 错
单选 1.当一个客户端从Zookeeper服务器上拿到-ROOT-表的地址以后,就可以通过**_**_找到用户数据表所在的Region服务器,并直接访问该Region服务器获得数据。 A.一级寻址 B.二级寻址 C.三级寻址 D.四级寻址 P74 C
多选 1.HBase的实现包括3个主要的功能组件:____。 A.库函数 B.一个Master主服务器 C.一个Region服务器 D.许多个Region服务器 ABD P71
第五六章 下列选项中(B)不是NoSQL数据库的特点。 灵活的可扩展性 B.动态的数据迁移 C.与云计算紧密融合 D.灵活的数据模型 NoSQL的英文全称(Not only Structual Query Language)。 NoSQL的英文全称为 No Structual Query Language。× 关系数据库无法满足Web2.0的需求主要表现在哪几个方面(ACD) 无法满足海量数据的管理需求 无法满足数据完整性的需求 无法满足数据高并发性的需求 无法满足高可扩展性和高可用性的需求 与分布式对应的方式是(集中式) Hadoop属于开发运行环境中的运行环境。√ 为保证一致性,关系数据库遵守ACID模型,NoSQL数据库遵守BASE模型。√ NoSQL数据库的明显优势在于(BCD)。 实现数据完整性 支持超大规模数据存储 灵活的数据模型可以很好的支持Web2.0应用 具有强大的横向扩展能力 Web2.0网站系统通常要求严格的数据库事务。× NoSQL的四大类型为键值数据库、(列族数据库)、文档数据库、图数据库 下列选项中©不是文档数据库的优点。 性能好 B.灵活性高 C.统一的查询语法 D.数据结构灵活 NoSQL的三大基石包括(CAP、BASE、最终一致性)。 CAP中的C与CAID中的C的含义一样。× NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力,还保持了传统数据库支持ACID和SQL等特性。√ 最终一致性根据更新数据后各进程访问到数据的时间和方式的不同,可以进行区别。下列说法正确的是(ABCD)。 因果一致性 “读己之所写”一致性 会话一致性 单调一致性 “软状态”是指(状态可以有一段时间不同步,具有一定的滞后性)。 云计算八大优势为按需服务、随时服务、通用性、(高可靠性)、极其廉价、超大规模、(虚拟化)、高扩展性。 云计算主要包括3种类型,即(IaaS、PaaS、SaaS)。 云计算可同时为众多用户提供服务。√ 下列关于云数据库的特点,错误的是(A)。 高可靠性 B.高可扩展性 C.采用多租形式 D.支持资源有效分布 关系数据库采用(关系数据)模型,NoSQL数据库采用(非关系数据)模型。 云数据库有专属与自己的数据模型。× UMP系统是低成本和高性能的MySQL数据库方案,关键模块采用Erlang语言实现。√ 下列为UMP系统架构设计遵循的原则的是(ABCD)。 保持单一的系统对外入口,并且为系统内部维护单一的资源池 保持单一故障,保证服务的高可用性 保证系统具有良好的可伸缩性,能够动态地增加、删减计算与存储节点 保证分配给用户的资源是弹性可伸缩的,资源之间相互隔离,保证应用和数据的安全 Mnesia是一个集中式数据库管理系统。× 下列选项不属于Zookeeper主要发挥的作用的是(D)。 作为全局的配置服务器 提供分布式锁 监视所有MySQL实例 支持透明的数据分片 UMP系统借助于()来实现集群内部的负载均衡。 Mnesia B.Zookeeper C.LVS D.Controller服务器 UMP系统功能为(容灾)、读写分离、资源管理、资源调度、(资源隔离)和数据安全。 UMP系统只为一个用户创建一个MySQL实例。× 资源池是为MySQL实例分配资源的基本单位。√ UMP系统采用哪两种资源隔离方式(AB)。 用Cgroup限制MySQL进程资源 在Proxy服务器限制QPS 通过MySQL实例的迁移 采用资源池机制管理数据库服务器资源 UMP系统是如何保障数据安全的(ABCD)。 SQL拦截 记录用户操作日志 数据访问IP白名单 SSL数据库连接 RDS英文全称为(Relational Database Service)。 RDS实例或简称“实例”,是用户购买RDS服务的基本单位。√ 在用户购买RDS实例时,所选择的内存大小已经决定了该实例的最大连接数。√ 新建RDS账号,MySQL实例支持最多创建20个账号,SQL Server实例支持最多创建50个账号。× 下列哪个不是连接RDS for MySQL数据库的方法©。 使用客户端MySQL-Front访问 使用数据库管理工具Navicat MySQL 使用Shell命令登录 使用阿里云控制台iDB Cloud访问 HBase采用“四维坐标”定位一个单元格。√ 行键是按照字典序存储。√ 访问HBase表中的行有哪几种方式(ABD)。 通过单个行键访问 通过一个行键的区间来访问 直接读取 全表扫描 41.colFamily指的是(列族)。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**