Spark计算流程

Spark 的计算流程

我们的程序执行环境

通过 spark-shell 程序运行一个交互式会话来演示

Spark-shell 是添加了一些 Spark 功能的 Scala REPL 交互式解释器

而不是 Spark 加了 Scala

从控制台的输出，我们可以看到三个关键信息

首先我们可以通过 4040 端口查看Spark上下文的信息

有一个事件时间线会比较实时的记录我们的操作

另外这个 Shell 环境已经为我们默认创建了两个 Scala 变量

一个名为 sc 的 Spark context 变量：用于保存 SparkContext 实例，这也是 Spark 的主要入口点，就像我们通过 ApplicationContext 介入 Spring 一样；

还有一个名为 spark 的 Spark session 变量

接下来，我们以一个文本数据来做示例

这是截取1950年和1949年中的几个温度数据

<