spark快速入门java_Spark 快速入门.pdf

Spark 快速入门

Spark 快速⼊门

设置Spark

在本机设置和运⾏Spark⾮常简单。你只需要下载⼀个预构建的包，只要你安装了Java

6+和Python 2.6+ ，就 以在Windows、Mac OS X和Linux上运⾏Spark 。确保j ava程序

在P TH环境变量中，或者设置了J V _HOME环境变量。类似的，python也要在

P TH 中。

假设你已经安装了Java和Python ：

1. 访问Spark下载页

2. 选择Spark最新发布版(本⽂写作时是1.2.0) ，⼀个预构建的Hadoop 2.4包，直接

下载。

现在，如何继续依赖于你的操作系统，靠你⾃⼰去探索了。Windows⽤户 以在评论

区对如何设置的提⽰进⾏评论。

⼀般，我的建议是按照下⾯的步骤(在POSIX操作系统上) ：

1.解压Spark

~$ tar -xzf spark-1.2.0-bin-hadoop2.4 .tgz

2.将解压⽬录移动到有效应⽤程序⽬录中(如Windows上的

~$ mv spark-1.2.0-bin-hadoop2.4 /srv/spark-1.2.0

3.创建指向该Spark版本的符号链接到

Spark ，然后修改链接来管理Spark版本，⽽不⽤更改路径或环境变量。

~$ ln -s /srv/spark-1.2.0 /srv/spark

4 .修改B SH配置，将Spark添加到P TH 中，设置SP RK_HOME环境变量。这些⼩技

巧在命令⾏上会帮到你。在Ubuntu上，只要编辑~/ .bash_profile或~/ .profile⽂件，将以

下语句添加到⽂件中：

export S ARK_HOME=/srv/sparkexport ATH=$S ARK_HOME/bin:$ ATH

5.source这些配置 (或者重启终端)之后，你就 以在本地运⾏⼀个pyspark解释器。

执⾏pyspark命令，你会看到以下结果：

~$ pyspark

ython 2.7.8 (default, Dec 2 2014, 12:45:58)

[GCC 4 .2.1 Compatible Apple LLVM 6.0 (clang-600.0.54)] on darwin

Type "help", "copyright", "credits" or "license" for more informa

Spark assembly has been built with Hive, including Datanucleus ja

Using Sparks default log4j profile: org/apache/spark/log4j-defaul

[… snip …]

Welcome to

____ __

/ __/__ ___ _____/ /__

_\ \/ _ \/ _ `/ __/ `_/

/__ / .__/\_,_/_/ /_/\_\ version 1.2.0

/_/

Using ython version 2.7.8 (default, Dec 2 2014 12:45:58)

SparkContext available as sc.

>>>

现在Spark 已经安装完毕， 以在本机以”单机模式“ (standalone mode )使⽤。你 以

在本机开发应⽤并提交Spark作业，这些作业将以多进程/多线程模式运⾏的，或者，

配置该机器作为⼀个集群的客户端 (不推荐这样做，因为在Spark作业中，驱动程序

(driver)是个很重要的⾓⾊，并且应该与集群的其他部分处于相同⽹络)。 能除了开

发，你在本机使⽤Spark做得最多的就是利⽤spark-ec2脚本来配置 mazon云上的⼀个

EC2 Spark集群了。

简略Spark输出

Spark (和PySpark )的执⾏ 以特别详细，很多INFO ⽇志消息都会打印到屏幕。开发

过程中，这些⾮常恼⼈，因为 能丢失Python栈跟踪或者print的输出。为了减少Spark

输出 – 你 以设置$SP RK_HOME/conf下的log4j 。⾸先，拷贝⼀份

$SP