spark任务shell运行_Spark入门详解——3

yarn 模式

Spark-shell 现在还不支持 Yarn 模式，使用 Yarn 模式运行，需要把 Spark 程序全部打包成一个jar 包提交到 Yarn 上运行。目录只有 branch-0.8 版本才真正支持 Yarn。以 Yarn 模式运行 Spark。

下载 Spark 代码.

cd spark

git checkout -b yarn --track origin/yarn

切换到 branch-0.8

cd spark

git checkout -b yarn --track origin/yarn

使用 sbt 编译 Spark 并

$SPARK_HOME/sbt/sbt

> package

> assembly

把 Hadoop yarn 配置 copy 到 conf 目录下

运行测试

SPARK_JAR=./core/target/scala-2.9.3/spark-core-assembly-0.8.0-SNAPSHOT.jar

./run spark.deploy.yarn.Client --jar examples/target/scala-2.9.3/

--class spark.examples.SparkPi --args yarn-standalone

使用 Spark-shell

Spark-shell 使用很简单，当 Spark 以 Standalon 模式运行后，使用$SPARK_HOME/spark-shell进入 shell 即可，在 Spark-shell 中 SparkContext 已经创建好了，实例名为 sc 可以直接使用，还有一个需要注意的是，在 Standalone 模式下， Spark 默认使用的调度器的 FIFO 调度器而不是公平调度，而 Spark-shell 作为一个 Spark 程序一直运行在 Spark 上，其它的 Spark 程序就只能排队等待，也就是说同一时间只能有一个 Spark-shell 在运行。

在 Spark-shell 上写程序非常简单，就像在 Scala Shell 上写程序一样。

scala> val textFile = sc.textFile("hdfs://hadoop1:2323/user/data")

textFile: spark.RDD[String] = spark.MappedRDD@2ee9b6e3

scala> textFile.count() // Number of items in this RDD

res0: Long = 21374

scala> textFile.first() // First item in this RDD

res1: String = # Spark

编写 Driver 程序

在 Spark 中 Spark 程序称为 Driver 程序，编写 Driver 程序很简单几乎与在 Spark-shell 上写程序是一样的，不同的地方就是 SparkContext 需要自己创建。如 WorkCount 程序如下：

import spark.SparkContext

import SparkContext._

object WordCount {

def main(args: Array[String]) {

if (args.length ==0 ){

println("usage is org.test.WordCount ")

}

println("the args: ")

args.foreach(println)

val hdfsPath = "hdfs://hadoop1:8020"

// create the SparkContext， args(0)由 yarn 传入 appMaster 地址

val sc = new SparkContext(args(0), "WrodCount