1、安装scala
#解压scala-2.10.5.tgz tar -zxvf scala-2.10.5.tgz #配置SCALA_HOME vi /etc/profile #添加如下环境 export SCALA_HOME=/home/apps/scala-2.10.5 export PATH=.:$SCALA_HOME/bin:$PATH #测试scala安装是否成功 #直接输入 scala
2、安装
#解压spark-1.3.1-bin-hadoop2.6.tgz tar -zxvf spark-1.3.1-bin-hadoop2.6.tgz #配置SPARK_HOME vi /etc/profile #添加如下环境 export SCALA_HOME=/home/apps/spark-1.3.1 export PATH=.:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
3、修改Spark配置文件
#复制slaves.template和 spark-env.sh.template各一份
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/opt/jdk1.7.0_79
export SCALA_HOME=/opt/scala-2.10.5
export SPARK_MASTER_IP=192.168.1.111
export SPARK_WORKER_MEMORY=200m
export HADOOP_CONF_DIR=/opt/bigdata/hadoop272
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_JAVA_OPTS
备注
#JDK安装路径 export JAVA_HOME=/opt/jdk1.7.0_79 #SCALA安装路径 export SCALA_HOME=/root/app/scala-2.10.5 #主节点的IP地址 export SPARK_MASTER_IP=192.168.1.111 #分配的内存大小 export SPARK_WORKER_MEMORY=200m #指定hadoop的配置文件目录 export HADOOP_CONF_DIR=/opt/bigdata/hadoop272 #指定worker工作时分配cpu数量 export SPARK_WORKER_CORES=1 #指定spark实例,一般1个足以 export SPARK_WORKER_INSTANCES=1 #jvm操作,在spark1.0之后增加了spark-defaults.conf默认配置文件,该配置参数在默认配置在该文件中 export SPARK_JAVA_OPTS
4、测试spark安装是否成功
在主节点机器上启动顺序 1、先启动hdfs(./sbin/start-dfs.sh) ./start-dfs.sh 2、启动spark-master(./sbin/start-master.sh) sh start-master.sh 3、启动spark-worker(./sbin/start-slaves.sh) sh start-slaves.sh
查看机器进程
[root@hadoop0 ~]# jps
3149 Worker
2835 SecondaryNameNode
2608 DataNode
3496 Jps
2515 NameNode
2993 Master