5.spark和scala环境搭建(大数据集群)

上传文件解压并配置环境变量

spark        spark-2.4.7-bin-hadoop2.6.tgz

scala        scala-2.12.0.tgz

打开配置环境变量

vi /etc/profile

加入

export SCALA_HOME=/bigdata/scala
export SPARK_HOME=/bigdata/spark
追加

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:

测试环境是否成功

spark-shell

scala -version

修改spark的spark-env.sh配置

进入spark下的conf目录

cp spark-env.sh.template spark-env.sh

export JAVA_HOME=/bigdata/jdk
export SCALA_HOME=/bigdata/scala
export HADOOP_HOME=/bigdata/hadoop
export HADOOP_CONF_DIR=/bigdata/hadoop/etc/hadoop
export  export SPARK_DIST_CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath)
export STANDALONE_SPARK_MASTER_HOST=master
export SPARK_MASTER_IP=192.168.9.140
#你的主机IP地址及名次
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib
export SCALA_LIBRARY_PATH=${SPARK_HOME}/lib

修改slaves文件

cp ./slaves.template /slaves

vi slaves

slave1

slave2

修改启动端口

进入到spark下的sbin目录

vi spark-master.sh

拉到最下,修改SPARK_MASTER_WEBUI_PORT=8080

为SPARK_MASTER_WEBUI_PORT=18080

修改端口号,防止冲突

分发文件和配置文件

spark-env.sh文件不做修改

分发完刷新环境测试是否正常

启动spark

进入spark下的sbin目录

输入./start-all.sh

最后结果

jps查看

master启动了master

slave1和slave2启动了worker

网页查看集群

http://主机名或ip地址:18080/