Spark编程指南（三）

最新推荐文章于 2024-03-10 11:59:51 发布

steanxy

最新推荐文章于 2024-03-10 11:59:51 发布

阅读量1.1k

点赞数

分类专栏： Spark 文章标签： spark

Spark 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

共享变量
- 广播变量
- 累加器
部署到集群
从JavaScala运行Spark作业
单元测试

共享变量

通常，当一个函数传递给在远程集群节点上执行的Spark操作（如map或reduce）时，函数使用的是所有变量的独立副本。这些变量会拷贝到每台机器上，并且远程机器上的变量没有更新到驱动程序中。跨任务读写共享变量是无效的。Spark为两种常见的使用模式提供两种类型的共享变量：广播变量和累加器。

广播变量

广播变量允许开发者保留一个只读变量缓存到每台机器上，而不是传递变量的拷贝。广播变量可用于高效地给每个节点一份大输入数据集的拷贝。Spark也在尝试使用高效的广播算法来分发广播变量，以减少通信成本。

Spark actions通过一系列阶段执行，以”shuffle”操作分隔。Spark会在每个阶段自动广播任务需要的公共数据。这种方式广播的数据会以序列化形式缓存，在每个任务执行之前进行反序列化。这就是说，只有跨阶段的任务需要相同的数据或者以反序列化形式缓存数据很重要时，才会显式地创建广播变量。

广播变量可通过调用SparkContext.broadcast(v)从变量v创建。广播变量是v的wrapper，可通过value方法访问。代码如下：

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)

scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)

创建广播变量后，不要在集群上运行任何函数中使用v，以免v会被发送节点多次。另外，对象v在广播之后不能被修改，这样才能保证所有节点都获取到的是相同的值。

累加器

累加器只是通过关联和交换操作进行累加的变量，并且有效地支持并行。累加器可用于实现counters（如在MapReduce中）和sums。Spark支持数值类型的累加器，开发者可以添加对新类型的支持。

作为用户，可以创建命名或非命名的累加器。如下图所示，一个命名的累加器（counter）会在修改累加器的阶段显示在web UI上。

在UI中跟踪累加器对于理解运行阶段的过程非常有用。（注意：目前在Python中不支持）。

数值累加器可通过调用SparkContext.longAccumulator()或SparkContext.doubleAccumulator()创建，分别用于累加Long或Double类型的值。运行在集群上的任务之后可使用add方法进行累加操作。但是，这些任务并不能读取累加器的值，只有驱动程序使用value方法能读取累加器的值。

下面展示了累加器累加了一个数组：

scala> val accum = sc.longAccumulator("My Accumulator")
accum: org.apache.spark.util.LongAccumulator = LongAccumulator(id: 0, name: Some(My Accumulator), value: 0)

scala> sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum.add(x))
...
10/09/29 18:41:08 INFO SparkContext: Tasks finished in 0.317106 s

scala> accum.value
res2: Long = 10

上面代码使用了内置支持的Long类型累加器，开发者也可以通过AccumulatorV2创建自己的类型。AccumulatorV2抽象类由多个方法，其中必须重写的是：reset，用于充值累加器为0，add用于向累加器加一个值，merge用于合并另一个同类型的累加器到当前累加器，其它必须重写的方法参见API documentation。例如，假设我们有一个MyVector类代表数学向量，可以这样写：

class VectorAccumulatorV2 extends AccumulatorV2[MyVector, MyVector] {

  private val myVector: MyVector = MyVector.createZeroVector

  def reset(): Unit = {
    myVector.reset()
  }

  def add(v: MyVector): Unit = {
    myVector.add(v)
  }
  ...
}

// Then, create an Accumulator of this type:
val myVectorAcc = new VectorAccumulatorV2
// Then, register it into spark context:
sc.register(myVectorAcc, "MyVectorAcc1")

注意，当开发者定义了自己类型的AccumulatorV2，结果类型可以与添加元素的类型不同。

对于只在actions执行更新操作的累加器，Spark会保证任务对累加器的更新操作只会应用一次，例如，重启任务不会更新累加器的值。在transformations中，用户应该意识到，如果任务或作业阶段重新执行，每个任务的更新操作会应用多次。

累加器没有改变Spark的懒计算模型，如果累加器在RDD的操作中更新了，累加器的值只会在RDD作为action的一部分被计算时更新。所以，在懒transformation中（如map()），累加器的更新不能保证被执行。下面的代码说明这个特性：

val accum = sc.longAccumulator
data.map { x => accum.add(x); x }
// Here, accum is still 0 because no actions have caused the map operation to be computed.

部署到集群

application submission guide描述了如何提交向集群提交应用，简单来说，一旦你打包好了应用（对于Java和Scala打包为JAR，对于Python打包为一组.py或者.zip），bin/spark-submit脚本可将包提交到任何支持的集群管理器。

从Java/Scala运行Spark作业

org.apache.spark.launcher包使用简单的Java API提供了将Spark作业作为子进程运行的类。

单元测试

Spark可使用任意流行的单元测试框架。将master URL设置为local，简单滴创建一个SparkContext在你的测试中，执行你的操作，然后调用SparkContext.stop()结束。确保在finally块或者测试框架的tearDown方法中stop context，Spark不支持在同一个程序中同时运行两个上下文。