sikh_0529的博客

我们还探索了实验性 Catalog API 如何将 Spark 生态系统扩展到自定义数据存储，用于批处理和流数据的源和接收器，并研究了 Spark 3.0 中的新调度程序，该调度程序使其能够利用执行程序中的 GPU。这样，作为对事实表的文件扫描操作的一部分，只扫描与过滤器匹配的分区，并且只读取需要的数据。中 Spark UI 讨论的补充，我们还向您展示了新的 Structured Streaming 选项卡，提供有关流式作业的累积统计信息、额外的可视化以及每个查询的详细指标。选项包括（默认）、、、、和。

在上一章中，我们介绍了如何使用 MLlib 构建机器学习管道。本章将重点介绍如何管理和部署您训练的模型。在本章结束时，您将能够使用 MLflow 来跟踪、重现和部署您的 MLlib 模型，讨论各种模型部署场景的困难和权衡，并构建可扩展的机器学习解决方案。但在我们讨论部署模型之前，让我们先讨论一些模型管理的最佳实践，以使您的模型为部署做好准备。模型管理在部署机器学习模型之前，您应该确保可以重现和跟踪模型的性能。

到目前为止，我们一直专注于使用 Apache Spark 的数据工程工作负载。数据工程通常是为机器学习 (ML) 任务准备数据的前期步骤，这将是本章的重点。我们生活在一个机器学习和人工智能应用程序已成为我们生活中不可或缺的一部分的时代。无论我们是否意识到，我们每天都可能出于在线购物推荐和广告、欺诈检测、分类、图像识别、模式匹配等目的而接触 ML 模型。这些 ML 模型推动了许多公司的重要业务决策。根据。

在前面的章节中，您学习了如何轻松有效地使用 Apache Spark 构建可扩展的高性能数据处理管道。然而，在实践中，表达处理逻辑只解决了构建管道的端到端问题的一半。对于数据工程师、数据科学家或数据分析师来说，构建管道的最终目标是查询处理过的数据并从中获得洞察力。存储解决方案的选择决定了数据管道的端到端（即从原始数据到洞察）的稳健性和性能。在本章中，我们将首先讨论您需要注意的存储解决方案的关键特性。然后我们将讨论两大类存储解决方案、数据库和数据湖，以及如何将 Apache Spark 与它们一起使用。

在前面的章节中，您学习了如何使用结构化 API 来处理非常大但数量有限的数据。但是，通常数据是连续到达的，需要实时处理。在本章中，我们将讨论如何使用相同的结构化 API 来处理数据流。Apache Spark 流处理引擎的演进流处理被定义为对无穷无尽的数据流的连续处理。随着大数据的出现，流处理系统从单节点处理引擎转变为多节点分布式处理引擎。传统上，分布式流处理是通过一次记录处理模型实现的，。图 8-1。传统的一次记录处理模型处理流水线由节点的有向图组成，所示；

在上一章中，我们详细介绍了如何在 Java 和 Scala 中使用数据集。我们探索了 Spark 如何管理内存以适应 Dataset 构造，并将其作为其统一和高级 API 的一部分，并且我们考虑了与使用 Datasets 相关的成本以及如何降低这些成本。除了降低成本，我们还想考虑如何优化和调整 Spark。在本章中，我们将讨论一组启用优化的 Spark 配置，查看 Spark 的连接策略系列，并检查 Spark UI，寻找不良行为的线索。优化和调整 Spark 以提高效率虽然 Spark 有许多用于。

在本章中，我们将深入了解数据集：我们将探索在 Java 和 Scala 中使用数据集，Spark 如何管理内存以适应作为高级 API 的一部分的数据集结构，以及与使用数据集相关的成本。JVM 有自己的内置 Java 序列化器和反序列化器，但效率低下，因为（正如我们在上一节中看到的）JVM 在堆内存中创建的 Java 对象是臃肿的。因此，该过程是缓慢的。中的 JVM 对象必须在Spark 集群中的节点之间共享，则发送方会将其序列化为字节数组，而接收方会将其反序列化回类型为 的 JVM 对象。

在上一章中，我们探讨了与 Spark 中内置数据源的交互。我们还仔细研究了 DataFrame API 及其与 Spark SQL 的互操作性。在本章中，我们将关注 Spark SQL 如何与外部组件交互。具体来说，我们将讨论 Spark SQL 如何让您：为 Apache Hive 和 Apache Spark 使用用户定义的函数。连接外部数据源，例如 JDBC 和 SQL 数据库、PostgreSQL、MySQL、Tableau、Azure Cosmos DB 和 MS SQL Server。

在上一章中，我们解释了 Spark 结构的演变和合理性。特别是，我们讨论了 Spark SQL 引擎如何为高级 DataFrame 和 Dataset API 提供统一的基础。现在，我们将继续讨论 DataFrame 并探索它与 Spark SQL 的互操作性。本章和下一章还将探讨 Spark SQL 如何与中所示的一些外部组件进行交互。中探讨的高级结构化 API 的引擎。可以读取和写入各种结构化格式的数据（例如 JSON、Hive 表、Parquet、Avro、ORC、CSV）。

讨向 Apache Spark 添加结构背后的主要动机，这些动机如何导致创建高级 API（DataFrames 和 Datasets），以及它们在 Spark 2.x 中跨组件的统一。我们还将了解支持这些结构化高级 API 的 Spark SQL 引擎。当在早期的 Spark 1.x 版本中首次引入时，的继任者，我们第一次看到了 Spark 的结构。

在本章中，我们将帮助您设置 Spark，并通过三个简单的步骤开始编写您的第一个独立应用程序。我们将使用本地模式，其中所有处理都在 Spark shell 中的单台机器上完成——这是一种学习框架的简单方法，为迭代执行 Spark 操作提供快速反馈循环。使用 Spark shell，您可以在编写复杂的 Spark 应用程序之前使用小数据集对 Spark 操作进行原型设计，但对于希望获得分布式执行优势的大型数据集或实际工作，本地模式不适合——您需要改为使用 YARN 或 Kubernetes 部署模式。

本章列出了 Apache Spark 的起源及其基本理念。它还调查了项目的主要组件及其分布式架构。如果您熟悉 Spark 的历史和高级概念，可以跳过本章。