2024年初识Hadoop，2024年最新大数据开发编程基础学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

​

一．大数据的特征

大数据的特点可以用四个以“V”开头的英文单词来概括，即大数据量(large Volume of data)、类型多样(diversity types)、价值密度(Value density Value)和速度(Velocity)。

如今，“大数据”已成为互联网和信息技术领域的热词。它是指1TB以上、增长率高、类型多样、传统软件工具无法挖掘和处理的数据。大数据的潜在价值是如此巨大，以至于它被定义为“未来的新石油”。

1. 数据量大（Volume)

大数据的显著特征是其庞大的规模。随着信息技术的发展和互联网的不断扩大，每个人的生活都被记录在大数据中，数据本身也出现了爆发式增长。

2. 类型多样（Variety)

大数据受大量互联网用户等因素的影响，来源广泛，因此大数据的类型也多种多样。大数据按因果关系强弱可分为三类，即结构化数据、半结构化数据和非结构化数据，统称为大数据。

3.价值密度（Value)

大数据价值在大数据特征中占有核心地位。大数据的总量与其价值密度成反比。同时，任何有价值的信息都是经过大量基础数据处理后提取出来的。在大数据蓬勃发展的今天，如何提高计算机算法处理海量大数据并提取有价值信息的速度一直是人们探索的问题。

4. 高速（Velocity)

大数据的高速特性主要体现在数据量的快速增长和处理。与传统媒体相比，在大数据时代的今天，信息的生产和传播发生了巨大的变化。在互联网和云计算的影响下，大数据可以快速产生和传播。

二．结构化数据、半结构化数据和非结构化数据

1.结构化数据

结构化数据一般是指可以使用关系型数据库来进行表示和存储，可以用二维表来逻辑表达实现的数据。通俗来讲，带有结构，有序的数据统称为结构化数据，例如我们平常使用的Excel，mysql，数字，符号等等

2.半结构化数据

半结构化数据是结构化数据的一种形式，半结构化数据就是介于完全结构化数据和完全无结构的数据之间的数据。例如HTML文档，JSON，XML和一些NoSQL数据库等就属于半结构化数据。

3.非数据化数据库

非结构化数据顾名思义，就是没有固定结构的数据。包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频、视频信息等等都属于非结构化数据。

三.Hadoop的优势

1. 扩容能力强
2. 成本低
3. 高效率
4. 可靠性
5. 高容错性

四．Hadoop生态圈

指以Hadoop为基础的生态圈，是一个很庞大的体系，Hadoop只是其中最重要、最基础的一部分；生态圈中的每个子系统只负责解决某一个特定的问题区域，甚至可能更小，它并不是一个全能系统，而是多个小的系统的集成。Hadoop生态圈的构成如下图：

​

五．Hadoop HDFS架构

HDFS（Hadoop Distribute File System）分布式文件系统

分布式文件系统 distributed file system 是指文件系统管理的物理存储资源不一定直接链接在本地节点上，而是通过计算机网络与节点相连，可让多机器上的多用户分享文件和存储空间。分布式文件系统的设计基于客户机/服务器模式

HDFS架构图如下图所示：

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取