先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
-
数据量大(Volume):非结构化数据的超大规模和增长,导致数据集合的规模不断扩大,数据单位已从GB到TB再到PB,甚至开始以EB和ZB来计数。
-
类型繁多(Variety):大数据的类型不仅包括网络日志、音频、视频、图片、地理位置信息等结构化数据,还包括半结构化数据甚至使非结构化数据,具有异构型和多样性的特点。
-
价值密度低(Value):大数据本身存在较大的潜在价值,但由于大数据的数据量大,其价值往往呈现稀疏性的特点。虽然单位价值数据的价值密度在不断降低,但是数据的整体价值在提高。
-
速度快时效高(Velocity):要求大数据的处理速度 快,时效性高,需要实时分析而非批量式分析,数据的输入、处理和分析连贯性的处理。
-
结构化数据和非结构化数据:
-
结构化数据:指关系模型数据,即以关系数据库表形式管理的数据,结合到典型场景中更容易理解,比如企业ERP、OA、HR里的数据。
-
非结构化数据:指数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种形式的图片、视频等。
-
半结构化数据:指非关系模型的、有基本固定结构模式的数据。例如日志文件、XML文档、JSON文档、E-mail等。
-
Hadoop生态圈:
我们通常说到的hadoop包括两个部分,一是Hadoop核心技术(或者说狭义上的hadoop),对应为apache开源社区的一个项目,主要包括三部分内容:hdfs,mapreduce,yarn。其中hdfs用来储存海量数据,mapreduce用来对海量数据进行计算,yarn是一个通用的资源调度框架(是在hadoop2.0中产生的)。
另一部分指广义的,广义上指一个生态圈,泛指大数据技术相关的开源组件或产品,如hbase、hive、spack、pig、zookeeper、kafka、flume、phoenix、sqoop等。
生态圈中的这些组件或产品相互之间会有依赖,但又各自独立。比如habse和kafka会依赖zookeeper,hive会依赖mapreduce。
-
Hadoop hdfs架构:
-
HDFS产生背景:
随着数据量的越来越大,在一个操作系统存不下赛哦有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种。
- HDFS的定义:
HDFS(Hadoop Distributed File Systemctl)是一个文件系统,用于储存文件,通过目录树来定位为文件。它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
- HDFS优缺点:
优点:1.高容错性
-
数据自动保存多个副本。通过增加副本的形式提高容错性。
-
某一个副本丢失后,可以自动恢复。
-
适合处理大数据。
-
数据规模:能够处理数据规模达到GB、TB、甚至PB级别的数据。
-
文件规模:能够处理百万规模以上的文件数量,数量相当之大。
-
可构建在廉价机器上,通过多副本机制,提高可靠性。
缺点:1.不适合低延迟时数据访问,比如我无法处理毫秒级的储存数据。
-
无法高效的对大量小文件进行存储。
-
储存大量小文件会占用NameNode大量的内存来储存文件目录和快信息,而NameNode的内存是有限的。
-
小文件存储的寻址时间会超过读取时间,违反HDFS的设计目标。
-
不支持并发写入、文件会随即修改
-
一个文件只能有一个写,不允许多个线程同时写
-
仅支持数据追加(append),不支持文件的随即修改
-
HDFS组成构架
-
Namenode(nn)就是master,是一个主管者、管理者。
-
管理HDFS的名称空间
-
配置副本策略
-
管理数据块(block)映射信息
-
Datanode就是slave。Nameenode下达命令,datanode执行实际的操作
-
存储实际的数据块
-
执行数据块的读/写操作
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
-1713357340362)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!