2024年大数据最新关于Hadoop生态圈相关组件的介绍(3)

最新推荐文章于 2024-07-13 14:51:19 发布

2401_84183726

最新推荐文章于 2024-07-13 14:51:19 发布

阅读量614

点赞数 9

分类专栏：程序员文章标签：大数据 hadoop 分布式

本文链接：https://blog.csdn.net/2401_84183726/article/details/138401868

版权

程序员专栏收录该内容

120 篇文章 0 订阅

订阅专栏

缺点：

（1）数据访问有延时，做不到毫秒级别的

（2）大量小文件不能高效存储，NameNode会占用大量内存

（3）可追加写入，不可随机修改，不支持并发写入（不支持多线程写入）

HDFS架构图

HDFS - 优缺点

优点：

（1）适合处理大数据：HDFS能够处理TB级甚至PB级的数据，文件数量也可达百万以上。

（2）高容错性：自动保存数据的多个副本，当某一副本丢失，可以自动重备。

（3）低成本运行：HDFS可以运行在廉价的商用计算机上。通过多副本机制提高可靠性。

缺点：

（1）不适合处理低延时的数据访问。

（2）不适合处理大量的小文件：小文件太多会消耗NameNode的内存。同时小文件的寻址时间超过读取时间，也违背了HDFS的设计目标。

（3）不支持并发写入和文件随机修改：HDFS的文件同时只能有一个用户进行写操作，也仅支持文件的数据追加。

二、MapReduce的特点及运行架构

MapReduce是一种用于处理大规模数据集的编程模型和处理框架，最初由Google开发，在后来由Apache Hadoop项目采用，并被广泛应用于分布式计算环境中。它的主要特点和运行架构如下：

MapReduce的特点：

简单易用：MapReduce模型提供了简单的抽象，使得开发人员可以专注于编写处理数据的逻辑，而不必关注底层的并行和分布式处理细节。
分布式处理： MapReduce适用于大规模数据集的并行处理。它将输入数据分割成小块，并在多个计算节点上进行并行处理，以加速数据处理过程。
容错性： MapReduce具有高度的容错性，能够处理计算节点故障。当一个节点失败时，MapReduce会重新调度任务到其他节点上，确保整个作业的完成。
可扩展性： 可以通过简单地添加更多的计算节点来扩展MapReduce系统的处理能力，使其适应不断增长的数据规模。
简化编程模型： MapReduce采用了一种简单而灵活的编程模型，将数据处理任务分解为两个主要阶段：Map阶段和Reduce阶段，简化了大规模数据处理的复杂性。
自动数据分片： MapReduce会自动将输入数据切分为小的数据块，并分配给不同的计算节点进行处理，使得处理任务能够更加均衡地分布在整个集群中。
并行化处理：MapReduce将任务分解为独立的Map和Reduce阶段，并行处理输入数据集的不同部分，从而有效利用了集群中的计算资源。
适用于各种类型的计算任务：MapReduce模型适用于各种类型的数据处理任务，包括数据清洗、数据转换、数据分析等。

MapReduce的运行架构：

JobTracker和TaskTracker：在Hadoop中，MapReduce作业通常由一个主节点（JobTracker）和多个工作节点（TaskTracker）组成。JobTracker负责作业的调度和任务分配，而TaskTracker则在各个计算节点上执行具体的任务。
Map阶段：输入数据被切分为多个数据块，然后通过一系列的Map任务并行处理。每个Map任务对输入数据执行用户定义的映射函数，生成一组中间键值对（Intermediate key-value pairs）。
分区和排序：中间键值对被分区为一组，并在每个分区内进行排序。这一过程的目的是将相同键的所有值都聚集在一起，以便更有效地进行Reduce操作。
Shuffle阶段：在Shuffle阶段，Map的输出被重新分配到Reduce任务。这一阶段包括数据的排序、分区和传输，确保相同键的所有值被发送到相同的Reduce任务。
Reduce阶段： Reduce任务按照键对相应的值进行聚合和处理。用户定义的Reduce函数被应用于每个键的所有值，生成最终的输出。
持久化和输出： Reduce任务的输出被写入HDFS（Hadoop分布式文件系统）或其他指定的存储系统，作为MapReduce作业的最终结果。

总体而言，MapReduce通过将大规模数据处理任务分解为独立的Map和Reduce阶段，并允许这些阶段在分布式环境中并行运行，实现了高效的大规模数据处理。

三、spark的特点与MapReduc的区别

spark的特点

快速：

Spark 使用内存计算，能够在内存中高效地处理数据，大大提高了计算速度。相比于传统的基于磁盘的计算框架，如 Hadoop MapReduce，Spark 能够将中间结果保存在内存中，避免了频繁的磁盘读写操作，因此速度更快。
Spark 还引入了基于弹性分布式数据集（RDD）的计算模型，它将数据分片存储在集群的多个节点上，并能够在节点间并行执行操作，进一步提高了处理速度。

易用：

Spark 提供了丰富的高级 API 和易于使用的编程接口，包括 Scala、Java、Python 和 R 等语言的 API，以及 DataFrame 和 Dataset API。这些 API 使得开发者可以以更简洁、更直观的方式编写复杂的数据处理和分析任务，而无需深入了解底层的并行计算原理。
Spark 的交互式 shell 和可视化工具（如 Spark UI）也使得开发者可以方便地调试和优化代码，提高了开发效率。

通用：

Spark 不仅支持批处理任务，还能够处理流式数据、交互式查询、机器学习和图计算等多种工作负载。无论是对实时数据处理、数据挖掘还是机器学习等应用场景，Spark 都能够提供强大的支持。
Spark 还提供了丰富的库和扩展，如 Spark SQL、MLlib、GraphX 和 Spark Streaming 等，使得开发者可以方便地构建各种复杂的数据处理和分析应用。

随处运行：

Spark 可以在各种不同的环境中运行，包括本地机器、集群、云平台和容器化环境等。它支持多种资源管理器，如独立模式、YARN、Mesos 和 Kubernetes，因此可以轻松地部署和运行在各种不同的计算平台上。
Spark 还支持跨平台的部署，使得开发者可以在不同的环境中无缝切换，提高了灵活性和可扩展性。

代码简洁：

Spark 提供了简洁、优雅的编程模型和 API，使得开发者可以用更少的代码实现复杂的数据处理和分析任务。例如，使用 DataFrame API 可以方便地进行数据操作和转换，而无需手动编写复杂的 Map 和 Reduce 函数。
Spark 还支持函数式编程范式，如 map、filter、reduce 等操作，这些函数式编程的特性使得代码更易读、更易维护，并且能够有效地利用并行计算的优势。

与MapReduced的区别

快速：
- Spark：Spark 的内存计算和高效的调度机制使其处理速度比 MapReduce 快得多。通过将数据保留在内存中进行计算，Spark 避免了 MapReduce 中频繁的磁盘读写操作，从而显著提高了性能。
- MapReduce：相对而言，MapReduce 更依赖于磁盘 I/O，每个计算步骤都需要将数据写入磁盘，这会增加处理时间。
易用：
- Spark：Spark 提供了丰富的高级 API 和开发工具，如 Spark SQL、DataFrame API 和 MLlib，使得开发者能够以更简单的方式编写复杂的数据处理和机器学习任务。
- MapReduce：MapReduce 的编程模型相对较为简单，但是需要编写大量的冗长的代码来完成相同的任务，因此相对而言稍显复杂。
通用：
- Spark：Spark 不仅支持批处理任务，还支持流式处理、交互式查询、机器学习和图计算等多种工作负载，使其在各种场景下都能发挥作用。
- MapReduce：MapReduce 主要专注于批处理任务，虽然也可以通过一些扩展实现其他功能，但不如 Spark 的通用性强。
随处运行：
- Spark：Spark 可以在各种环境中运行，包括独立模式、Hadoop YARN、Apache Mesos、Kubernetes 等，甚至可以在云平台上运行，如 AWS、Azure 和 Google Cloud。
- MapReduce：MapReduce 主要运行在 Hadoop 生态系统中，依赖于 Hadoop 的资源管理器和文件系统，相对而言不太灵活。
代码简洁：
- Spark：Spark 提供了简洁的 API 和函数式编程模型，使得开发者可以用更少的代码实现相同的功能，同时提高了代码的可读性和维护性。
- MapReduce：MapReduce 的编程模型相对底层，需要编写大量的冗长的代码，不太容易理解和维护。

四、熟练掌握Linux操作命令并演示说明

五、冷备温备热备的介绍

“冷备”、"温备"和"热备"是备份和恢复策略中常见的术语，它们描述了在不同情况下备份数据的状态以及备份过程的准备程度。这些术语主要用于描述系统或数据的备份和恢复策略。

冷备（Cold Backup）：
- 冷备是指在备份数据之前，系统或者数据服务已经停止运行的情况下进行备份。这意味着备份数据是静态的，没有正在写入或修改的数据。冷备通常需要停机时间，因为备份操作会中断系统或服务的正常运行。
- 冷备通常用于对静态数据进行备份，或者在非工作时间进行备份，以最大程度地减少对系统性能的影响。
温备（Warm Backup）：
- 温备是指备份数据时，系统或数据服务仍然处于运行状态，但备份操作会暂停数据的写入。这意味着备份数据是静态的，但是系统仍然可以读取数据。在温备状态下，系统可能会受到轻微的影响，因为写入操作暂时被暂停。
- 温备通常用于对需要保持一定可用性的系统进行备份，因为它可以在备份过程中保持读取数据的能力，但是写入操作会受到一定的限制。
热备（Hot Backup）：
- 热备是指备份数据时，系统或数据服务仍然处于完全运行状态，备份操作不会中断数据的写入或修改。这意味着备份数据是动态的，包含了系统正在进行的所有写入和修改操作。
- 热备是最为灵活和实时的备份方式，但同时也是最复杂和资源密集的方式，因为备份操作必须与实时的系统交互，确保备份数据的一致性和完整性。

总的来说，冷备、温备和热备是备份策略中的不同选择，其选择取决于对系统可用性、备份时间窗口以及备份数据的一致性要求等方面的考虑。

六、数据类型

大数据是一个广泛的概念，涵盖了处理和分析大规模数据集的方法和技术。在大数据领域，数据可以分为结构化数据、半结构化数据和非结构化数据等几种类型。以下是大数据中常见的数据类型：

结构化数据（Structured Data）:
- 结构化数据是按照预定义的数据模型组织的数据，通常存储在关系型数据库中。
- 例子：数据库表中的行和列，如SQL数据库中的表格数据。
半结构化数据（Semi-Structured Data）:
- 半结构化数据不遵循传统的表格形式，但包含标签或标记，使其具有一定的结构。
- 例子：XML（可扩展标记语言）和JSON（JavaScript对象表示）格式的数据。
非结构化数据（Unstructured Data）:
- 非结构化数据没有明确的数据模型，不容易以表格形式表示。
- 例子：文本文档、图像、音频、视频等。
时序数据（Time Series Data）:
- 时序数据按照时间顺序记录的数据，常见于传感器数据、日志文件等。
- 例子：股票价格、气象数据、网络流量等。
地理空间数据（Spatial Data）:
- 地理空间数据包含地理位置信息，通常用于地理信息系统（GIS）和地理定位服务。
- 例子：地图数据、GPS轨迹数据。
图数据（Graph Data）:
- 图数据以节点和边的形式表示关系，常用于社交网络分析、推荐系统等领域。
- 例子：社交网络中的用户和连接关系。

这些数据类型在大数据领域中常常同时存在，大数据技术和工具的发展旨在有效地处理和分析这些不同类型的数据。

七、结构化数据与非结构化数据

1.什么是结构化数据和非结构化数据

结构化数据和非结构化数据是大数据中的两种主要类型，它们在数据组织和处理方式上有所不同。

结构化数据：结构化数据是按照固定模式和格式组织的数据，通常以表格形式存储在关系数据库或类似的数据存储系统中，具有明确定义的字段和数据类型。这使得结构化数据容易被查询、分析和处理。常见的结构化数据包括订单信息、客户信息、交易记录等。

例：一个电子商务网站的订单数据库就是典型的结构化数据。每个订单的信息通常包括订单号、订单日期、顾客姓名、商品名称、数量、价格等字段，这些信息被组织成表格形式，方便进行查询和分析。

非结构化数据：非结构化数据是指没有明确结构的数据，通常不适合用传统的表格或数据库形式进行存储和处理。这种类型的数据可能包括文本、图像、音频、视频等形式，不易用规则或模式进行描述和组织。非结构化数据的处理通常需要借助特定的技术和工具，如自然语言处理、图像识别等。

例：社交媒体上的用户发表的帖子、评论和图片就是典型的非结构化数据。这些数据没有固定的格式和字段，每条帖子或评论可能包含文字、图片、链接等多种内容形式，不适合直接存储在传统的关系数据库中。处理这种数据通常需要使用自然语言处理技术来分析文本内容，使用图像识别技术来识别图片中的信息

2.两者之间的区别

结构化数据和非结构化数据之间的区别主要体现在数据的组织形式、存储方式、处理方法和应用场景上。

1.组织形式：

结构化数据具有明确定义的结构，通常以表格形式存储在数据库中，每个数据项都有预定义的字段和数据类型。

非结构化数据没有明确的结构，可能以文本、图像、音频、视频等形式存在，不适合用表格形式进行存储和处理。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

、视频等形式存在，不适合用表格形式进行存储和处理。

[外链图片转存中…(img-w0ViGb1x-1714660139528)]
[外链图片转存中…(img-ILPy87aT-1714660139528)]
[外链图片转存中…(img-xatw9SNm-1714660139529)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84183726

关注

9
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
2024年大数据最新关于Hadoop生态圈相关组件的介绍(3)

冷备”、"温备"和"热备"是备份和恢复策略中常见的术语，它们描述了在不同情况下备份数据的状态以及备份过程的准备程度。这些术语主要用于描述系统或数据的备份和恢复策略。冷备结构化数据和非结构化数据是大数据中的两种主要类型，它们在数据组织和处理方式上有所不同。结构化数据：结构化数据是按照固定模式和格式组织的数据，通常以表格形式存储在关系数据库或类似的数据存储系统中，具有明确定义的字段和数据类型。这使得结构化数据容易被查询、分析和处理。常见的结构化数据包括订单信息、客户信息、交易记录等。
复制链接

扫一扫