大数据漫谈（二）ZooKeeper、Spark概述

qq_51292909

已于 2024-08-28 16:42:54 修改

阅读量566

点赞数 19

文章标签：大数据 spark 分布式

于 2024-08-28 09:30:58 首次发布

本文链接：https://blog.csdn.net/qq_51292909/article/details/141629277

版权

一、ZooKeeper

ZooKeeper 是一个分布式协调服务，主要用于管理大型分布式系统中的配置信息、提供分布式锁以及实现集群的管理和协调。它提供了一套简单的原语，可以帮助开发者解决分布式系统中的一些常见问题，比如数据一致性、配置管理、分布式锁管理等。

简单介绍：

分布式协调服务：ZooKeeper 本质上是一个分布式系统的协调工具，它可以管理数据的同步、配置的统一、集群的成员关系等。
数据存储模型：ZooKeeper 使用了一个类似文件系统的层次化数据结构，称为“znode”。每个 znode 都可以存储数据，并且可以有子节点，这样就形成了一棵树状结构。每个 znode 上的数据通常比较小，并且可以通过路径访问。
高可用性和一致性：ZooKeeper 通过集群方式运行，通常会有多个 ZooKeeper 节点（服务器），确保高可用性。当一个 ZooKeeper 节点出现故障时，其他节点可以继续提供服务。此外，ZooKeeper 保证了严格的数据一致性，所有客户端在同一时间看到的数据是相同的。
应用场景：
- 配置管理：ZooKeeper 可以用于存储和管理分布式系统的配置文件，这样配置的更改可以实时传播到所有节点。
- 分布式锁：可以利用 ZooKeeper 的一致性来实现分布式锁，确保在多个节点之间安全地访问共享资源。
- 服务注册与发现：在分布式系统中，可以使用 ZooKeeper 来注册和发现服务，实现动态扩展和故障转移。
易于使用：ZooKeeper 提供了一些简单的 API，开发者可以很容易地进行数据读写、节点监控等操作，来实现分布式系统的协调和管理。

总结

ZooKeeper 是一个专门为分布式系统设计的工具，用于简化复杂的分布式系统协调工作，确保系统的高可用性和一致性。它在分布式系统的管理中发挥了重要作用，如配置管理、服务发现、分布式锁等。

二、Spark

Apache Spark 是一个快速的、通用的大数据处理引擎，专为大规模数据处理和分布式计算设计。它可以处理海量数据，并支持多种数据处理任务，如批处理、实时数据处理、机器学习、图计算等。

简单介绍：

核心概念：
- RDD（Resilient Distributed Dataset）：Spark 的核心抽象，它表示一个分布式的数据集，能够在集群的多个节点上进行并行处理。RDD 是不可变的，可以通过转换（如 map、filter 等）生成新的 RDD，并且具有容错性，能够在节点故障时自动重算数据。
- Spark SQL：用于结构化数据处理的模块。它允许使用 SQL 查询、HQL（Hive Query Language）语法，或者直接使用 DataFrame 和 Dataset API 进行数据操作。
- Spark Streaming：用于实时数据流处理的模块。它能处理连续的数据流，并将其转化为 RDD 来进行分布式处理。
- MLlib：Spark 提供的机器学习库，包含常见的机器学习算法和工具，能够进行大规模的机器学习任务。
- GraphX：用于图计算的模块，支持图形数据的并行处理。
高效性：
- Spark 比传统的 Hadoop MapReduce 快很多，因为它将数据尽可能保存在内存中，而不是在磁盘上反复读写。通过这种方式，Spark 在迭代计算中表现得特别高效。
广泛应用：
- 数据处理：Spark 可以用来进行大规模数据的批处理和流处理，适用于数据清洗、ETL（Extract, Transform, Load）、日志分析等任务。
- 机器学习：通过 Spark 的 MLlib 模块，能够在分布式环境下高效地训练和预测机器学习模型。
- 实时分析：通过 Spark Streaming，可以处理实时数据流，如监控系统、实时推荐等。
支持多种语言：
- Spark 支持多种编程语言，包括 Scala、Java、Python 和 R，开发者可以根据自己的习惯选择合适的语言进行开发。

总结

Spark 是一个功能强大、灵活性高的大数据处理引擎，适用于需要处理和分析大规模数据的各种场景。它通过内存计算和丰富的模块支持，使得数据处理变得更加高效和简单。

其他细节

1.Spark 中的任务分区会与 HDFS（Hadoop 分布式文件系统）上的数据分区相对应

HDFS 数据分区：
- HDFS 将大文件分成多个数据块（通常是 128MB 或 256MB），并将这些块存储在分布式的多个节点上。这种数据分片的方式使得 Hadoop 和 Spark 等分布式计算框架能够在不同节点上并行处理数据。
Spark 分区（Partition）：
- Spark 的 RDD（弹性分布式数据集）或者 DataFrame/DataSet 是分区化的，分区是 Spark 中数据的基本单位，每个分区是可以独立计算的数据块。
- 当 Spark 从 HDFS 加载数据时，它会根据 HDFS 上的文件分块情况自动创建相应数量的分区。例如，如果一个文件在 HDFS 上有 10 个数据块，那么 Spark 在加载这个文件时，通常也会创建 10 个分区（每个分区对应一个数据块）。
- 因此，Spark 的任务分区与 HDFS 的数据分块之间存在直接关系。
分区的映射关系：
- Spark 在读取 HDFS 上的数据时，会尽量将数据分区与 HDFS 数据块的物理位置进行对齐，以便充分利用数据的本地性（Data Locality）。这意味着 Spark 会尝试在数据块所在的节点上进行计算，减少网络传输，提升性能。