大数据平台--Scala原生安装

看见很多童鞋问我Scala咋安装，我大概给大家部署下，配置文件还请各位按照实际环境配置

1.下载并解压

tar -zxvf scala-2.11.8.tgz -C scala-2.11/

2.配置环境变量

vi /etc/profile

export SCALA_HOME=/home/hadoop/scala-2.11

export PATH=$PATH:$SCALA_HOME/bin

更新环境变量

source /etc/profile

3.将Scala发送给其它节点

scp -r /home/hadoop/scala-2.11 root@node1:/home/hadoop/

scp -r /home/hadoop/scala-2.11 root@node2:/home/hadoop/

scp -r /home/hadoop/scala-2.11 root@node3:/home/hadoop/

设置并更新其它节点的环境变量即可

安装Spark-2.3.3

1.下载并解压

tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C spark-2.3.3/

2.设置环境变量

vi /etc/profile

export SPARK_HOME=/home/hadoop/spark-2.3.3

export PATH=$PATH:$SPARK_HOME/bin

更新环境变量 source /etc/profile

3.修改配置文件

复制配置文件模板并重命名

cd /home/hadoop/spark-2.3.3/conf

cp spark-env.sh.template spark-env.sh

配置spark-env.sh

# 配置jdk、scala、hadoop、ip、master等信息，SPARK_MASTER_IP和SPARK_MASTER_HOST是配置master服务

# 器域名，SPARK_LOCAL_IP为对应spark节点的IP地址

export JAVA_HOME=/home/java/jdk1.8

export SCALA_HOME=/home/hadoop/scala-2.11

export HADOOP_HOME=/home/hadoop/hadoop-2.7.3

export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop

export SPARK_MASTER_IP=master

export SPARK_MASTER_HOST=master

export SPARK_LOCAL_IP=192.168.159.101

export SPARK_WORKER_MEMORY=1g

export SPARK_HOME=/home/hadoop/spark-2.3.3

配置slaves

vi slaves

node1

node2

node3

4.发送给其它节点

scp -r /home/hadoop/spark-2.3.3 root@node1:/home/hadoop/

scp -r /home/hadoop/spark-2.3.3 root@node2:/home/hadoop/

scp -r /home/hadoop/spark-2.3.3 root@node3:/home/hadoop/

5.修改每台节点上的spark-env.sh配置文件

修改SPARK_LOCAL_IP为每台节点对应的ip地址，例如node1节点ip为192.168.159.102则修改为

export SPARK_LOCAL_IP=192.168.159.102

6.开启集群

开启Hadoop集群

start-all.sh

开启spark集群

./spark-2.3.3/sbin/start-all.sh    

查看进程

jps

在master节点有master node节点有worker即可

7.通过web端查看

在浏览器访问master:8080

8.测试进入spark shell环境

spark-2.3.3/sbin/spark-shell

9.关闭集群

关闭spark集群

spark-2.3.3/sbin/stop-all.sh