spark安装

上传到usr\local下

确定Scala是有的

scala -version

确定JAVA是有的

java -version

解压

tar xvzf spark-2.0.2-bin-hadoop2.7.tgz

改名

mv spark-2.0.2-bin-hadoop2.7 spark

添加环境变量

vi /etc/profile

export SPARK_HOME=/usr/local/spark

:$SPARK_HOME/bin

生成环境变量

source /etc/profile

进入

cd spark

cd conf/

改名释放

mv spark-env.sh.template spark-env.sh

mv slaves.template slaves

mv spark-defaults.conf.template spark-defaults.conf

配置

vi spark-env.sh

export SCALA_HOME=/usr/scala

export SPARK_HOME=/usr/local/spark

export HADOOP_HOME=/usr/local/hadoop

export JAVA_HOME=/usr /java

export SPARK_WORKER_MEMORY=1g

export SPARK_MASTER_IP=hadoop

export SPARK_WORKER_CORES=2

 

cd ..

cd sbin/

脚本

vi start-spark.sh

#!/bin/bash

/usr/local/spark/sbin/start-all.sh

给脚本权限

chmod 755 start-spark.sh

修改到环境变量中

vi /etc/profile

:$SPARK_HOME/sbin

生成变量

source /etc/profile

有开始就有关闭

cp start-spark.sh stop-spark.sh

配置vi stop-spark.sh

把里面的start改为stop

给脚本权限

chmod 755 stop-spark.sh

启动hadoop

start-all.sh

启动spart-spark.sh

这两个是进程

Master Worker

 

打开脚本

spark-shell

浏览器访问http://10.0.0.11:4040/jobs/

转载于:https://www.cnblogs.com/dasiji/p/11315627.html