Spark交互式工具spark-shell

 

 

 

REPL

Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程

 

 

 

 

Spark REPL

$SPARK_HOME/bin/spark-shell(scala)

$SPARK_HOME/bin/pyspark(python)

其他

 

 

 

Spark shell

Spark的scala REPL，支持使用scala语言来进行Spark的交互式编程

支持Spark的local，standalone，yarn client模式

启动./bin/spark-shell

内置实例化一个SparkContex对象，可以通过sc来调用

内置实例化一个SQLContext对象，可以使用sqlContext来调用查看帮助sc.\t

 

 

 

 

 

 

spark-shell运行在YARN上

登陆安装Spark那台机器

.bin/spark-shell --master yarn

   （注意，这样也是yarn client模式）

 

 

 

 

 

spark-shell运行在YARN上（这是Spark on YARN模式）

     (包含YARN client和YARN cluster）（作为补充）

 登陆安装Spark那台机器

bin/spark-shell --master yarn-client

 或者

bin/spark-shell --master yarn-cluster

 　　包括可以加上其他的，比如控制内存啊等。这很简单，不多赘述。

 

 

　　我这里就以YARN Client演示了。

[spark@master spark-1.6.1-bin-hadoop2.6]$ bin/spark-shell --master yarn-client
17/03/29 22:40:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/03/29 22:40:04 INFO spark.SecurityManager: Changing view acls to: spark
17/03/29 22:40:04 INFO spark.SecurityManager: Changing modify acls to: spark
17/03/29 22:40:04 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(spark); users with modify permissions: Set(spark)
17/03/29 22:40:05 INFO spark.HttpServer: Starting HTTP Server
17/03/29 22:40:06 INFO server.Server: jetty-8.y.z-SNAPSHOT
17/03/29 22:40:06 INFO server.AbstractConnector: Started SocketConnector@0.0.0.0:35692
17/03/29 22:40:06 INFO util.Utils: Successfully started service 'HTTP class server' on port 35692.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.6.1
      /_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_60)