spark Linux系统 安装配置 附安装包

1 tar -zxvf 文件名解压spark

2 cd到spark目录是conf

cp spark-env.sh.template spark-env.sh  #使用模板

vi spark-env.sh

添加 

export JAVA_HOME=/opt/app/jdk
export SCALA_HOME=/opt/app/scala
export SPARK_WORKING_MEMORY=521m 
export SPARK_MASTER_IP=192.168.0.118 
export HADOOP_HOME=/opt/app/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 

vi start-master.sh  修改8080 设置web端口 

 

 vi /etc/profile

添加

export SPARK_HOME=/opt/app/spark/
path加入 :$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile

 

 

 最后  ./start-all.sh

 

安装包 

 spark https://download.csdn.net/download/qq_33620771/12562254

scala https://download.csdn.net/download/qq_33620771/12562131