搭建单机伪分布式Spark和Scala

首先准备好一台配好ip的机

改名

[root@localhost~]# hostnamectl set-hostname master

[root@localhost~]# bash

[root@master~]#

关闭防火墙

[root@master~]# systemctl stop firewalld

一、卸载自带 OpenJDK

[root@master ~]# rpm -qa | grep java

[root@master ~]# java --version

bash: java: 未找到命令

二、安装 JDK

将安装包解压到/usr/local/src 目录下

[root@master ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

[root@master ~]# ls /usr/local/src/

jdk1.8.0_152

三、设置 JAVA 环境变量

[root@master ~]# vi /etc/profile

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效： 

[root@master ~]# source /etc/profile

检查 JAVA是否可用

[root@master ~]# java -version

java version "1.8.0_152"

Java(TM) SE Runtime Environment (build 1.8.0_152-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

四、Hadoop环境的安装与配置

将hadoop-2.7.1.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop

[root@master ~]# tar -zxvf hadoop-2.7.1.tar.gz -c /opt

[root@master ~]# mv hadoop-2.7.1 hadoop

修改环境变量

[root@master ~]# vi /etc/profile

export HADOOP_HOME=/opt/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@master ~]# source /etc/profile

编辑env.sh文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

 编辑core-site.xml文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/core-site.xml

<configuration>

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.20.11:9000</value>

</property>

<property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop/tmp</value>

</property>

</configuration>

编辑hdfs-site.xml文件

[root@master ~]#  vi /opt/hadoop/etc/hadoop/hdfs-site.xml

<configuration>

<property>

        <name>dfs.replication</name>

        <value>3</value>

</property>

</configuration>

复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml

[root@master ~]# cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml

编辑mapred-site.xml文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/mapred-site.xml

<configuration>

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

</property>

</configuration>

编辑yarn-site.xml文件

[root@master ~]#  vi /opt/hadoop/etc/hadoop/yarn-site.xml

<configuration>

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

</property>

</configuration>

编辑slaves文件

[root@master ~]# vi /opt/hadoop/etc/hadoop/slaves

slaves

格式化hdfs

[root@master ~]# hdfs namenode -format

启动集群 jps查看,登录网页

[root@master ~]# start-all.sh

[root@master ~]# jps

在浏览器的地址栏输入http://192.168.20.11:50070,进入页面可以查看NameNode和DataNode信息

五、安装伪分布式spark

将安装包解压到/usr/local目录下

[root@master ~]# tar -zxf spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/

复制和重命名后得到spark-env.sh

[root@master ]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/conf/

[root@master conf]# cp spark-env.sh.template spark-env.sh

打开spark-env.sh文件添加内容

[root@master conf]# vi spark-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export HADOOP_HOME=/opt/hadoop

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

export SPARK_MASTER_IP=master

export SPART_LOCAL_IP=master

进入spark目录的/sbin

[root@master conf]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/sbin/

启动spark集群

[root@master sbin]# ./start-all.sh

jps查看

[root@master sbin]# jps 

启动spark-shell

[root@master ~]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/

[root@master spark-3.2.1-bin-hadoop2.7]# ./bin/spark-shell

查看网页http://192.168.20.11:8080

Ctrl+c退出scala

六、安装伪分布式Scala

将安装包解压到/usr/local目录下

[root@master ~]# tar -zxf scala-2.11.8.tgz -C /usr/local

配置scala环境变量，重新加载配置文件，运行scala

[root@master ~]# vim /etc/profile

export SCALA_HOME=/usr/local/scala-2.11.8

export PATH=$PATH:$SCALA_HOME/bin

[root@master ~]# source /etc/profile

[root@master ~]# scala