Spark安装
- 1、下载并上传scala安装包至linux的software目录下
- 2、解压安装包至/opt目录下,重命名Scala
tar -zxvf scala-2.11.12.tgz -C /opt/
cd /opt/
mv scala-2.11.12/ scala
- 3、修改环境变量
vi /etc/profile
//添加内容如下:
export SCALA_HOME=/opt/scala
export PATH=... :$SCALA_HOME/bin:$PATH
环境变量修改完成后,执行source /etc/profile
- 4.检测是否成功
scala -version
scala
- 安装配置spark
- 5、下载并上传scala安装包至linux的software目录下
- 6、解压安装包至/opt目录下,并重命名为spark
tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/
cd /opt/
mv spark-2.4.5-bin-hadoop2.6.tgz/ spark
- 7、再次修改环境变量
//添加内容如下:
export SPARK_HOME=/opt/spark
export PATH=... :$SPARK_HOME/bin:$PATH
环境变量修改完成后,执行source /etc/profile
- 8、修改相关配置文件
修改/opt/spark/conf/目录下的配置文件
复制spark-env.sh.template文件到当前目录,并重命名为spark-env.sh
cd /opt/spark/conf/
cp spark-env.sh.template spark-env.sh
//修改spark-env.sh文件内容
//在文件最后添加以下内容:
export JAVA_HOME=/opt/java8
export SCALA_HOME=/opt/scala
export SPARK_HOME=/opt/spark
export SPARK_MASTER_IP=hadoop100
export SPARK_EXECUTOR_MEMORY=1G
- 9、检测spark是否安装成功
spark-shell