Spark安装

Spark安装

• 1、下载并上传scala安装包至linux的software目录下
• 2、解压安装包至/opt目录下，重命名Scala

tar -zxvf scala-2.11.12.tgz -C /opt/
cd /opt/
mv scala-2.11.12/ scala

• 3、修改环境变量

vi /etc/profile

//添加内容如下：
export SCALA_HOME=/opt/scala
export PATH=... :$SCALA_HOME/bin:$PATH

环境变量修改完成后，执行source /etc/profile

• 4.检测是否成功

scala -version
scala

• 安装配置spark
• 5、下载并上传scala安装包至linux的software目录下
• 6、解压安装包至/opt目录下，并重命名为spark

tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/
cd /opt/
mv spark-2.4.5-bin-hadoop2.6.tgz/ spark

• 7、再次修改环境变量

//添加内容如下：
export SPARK_HOME=/opt/spark
export PATH=... :$SPARK_HOME/bin:$PATH

环境变量修改完成后，执行source /etc/profile

• 8、修改相关配置文件
  修改/opt/spark/conf/目录下的配置文件
  复制spark-env.sh.template文件到当前目录，并重命名为spark-env.sh

cd /opt/spark/conf/
cp spark-env.sh.template spark-env.sh

//修改spark-env.sh文件内容
//在文件最后添加以下内容：
export JAVA_HOME=/opt/java8
export SCALA_HOME=/opt/scala
export SPARK_HOME=/opt/spark
export SPARK_MASTER_IP=hadoop100
export SPARK_EXECUTOR_MEMORY=1G

• 9、检测spark是否安装成功

spark-shell