Spark安装
进入官方下载地址下载最新版 Spark。我下载的是 spark-1.3.0-bin-hadoop2.4.tgz。
在~/workspace
目录下解压
tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz mv spark-1.3.0-bin-hadoop2.4 spark-1.3.0 #原来的文件名太长了,修改下 |
配置 Spark
cd ~/workspace/spark-1.3.0/conf #进入spark配置目录 cp spark-env.sh.template spark-env.sh #从配置模板复制 vi spark-env.sh #添加配置内容 |
在spark-env.sh
末尾添加以下内容(这是我的配置,你可以自行修改):
export SCALA_HOME=-2.10.4 spark scalaexport JAVA_HOME=.7.0_75 spark jdk1export HADOOP_HOME=-2.6.0 spark hadoopexport HADOOP_CONF_DIR=$HADOOP_HOME hadoopSPARK_MASTER_IP=master SPARK_LOCAL_DIRS=-1.3.0 spark sparkSPARK_DRIVER_MEMORY=1G |
注:在设置Worker进程的CPU个数和内存大小,要注意机器的实际硬件条件,如果配置的超过当前Worker节点的硬件条件,Worker进程会启动失败。
vi slaves
在slaves文件下填上slave主机名:
slave1 slave2 |
将配置好的spark-1.3.0
文件夹分发给所有slaves吧
scp -r ~/workspace/spark-1.3.0 spark@slave1:~/workspace/
|
启动Spark
sbin/start-all.sh
|