改名为master
[root@localhost~]# hostnamectl set-hostname master
[root@localhost~]# bash
[root@master~]#
关闭防火墙
[root@master~]# systemctl stop firewalld
一、安装 JAVA 环境
下载 JDK 安装包(jdk-8u152-linux-64.tar.gz)
官网地址:https://www.oracle.com/java/technologies /javase-jdk8-downloads.html
卸载自带 OpenJDK
[root@master ~]# rpm -qa | grep java
[root@master ~]# java --version
安装JDK
[root@master ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/
[root@master ~]# ls /usr/local/src/
jdk1.8.0_152
设置 JAVA 环境变量
[root@master ~]# vi /etc/profile
在文件的最后增加如下两行:
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
export PATH=$PATH:$JAVA_HOME/bin
执行 source 使设置生效
[root@master ~]# source /etc/profile
检查 JAVA是否可用
[root@master ~]# java -version
java version "1.8.0_152"
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)
二、Hadoop环境的安装与配置
将hadoop-2.7.7.tar.gz压缩包解压到/opt目录下
[root@master ~]#tar -zxvf hadoop-2.7.1.tar.gz -C /opt
修改环境变量
[root@master ~]# vim /etc/profile
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
[root@master ~]# source /etc/profile
编辑hadoop-env.sh文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/hadoop-env.sh
修改配置文件为jdk的安装路径:
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
编辑core-site.xml文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/core-site.xml
修改配置文件为:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.20.10:9000</value>#改为自己ip
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>
编辑hdfs-site.xml文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/hdfs-site.xml
修改配置文件:
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
复制mapred-site.xml.tmplate 名为mapred-site.xml
[root@master ~]# cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
编辑mapred-site.xml文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/mapred-site.xml
修改配置为:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
编辑yarn-site.xml文件
[root@master ~]# vi /opt/hadoop/etc/hadoop/yarn-site.xml
修改配置为:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
编辑slaves文件
[root@master ~]# vim /opt/hadoop/etc/hadoop/slaves
加入master
格式化hdfs
[root@master ~]# hdfs namenode -format
启动集群
[root@master ~]# start-all.sh
jps查看
[root@master ~]# jps
登录网页
在浏览器的地址栏输入http://192.168.20.10:50070
三、安装伪分布式spark
将安装包解压到/usr/local目录下
[root@master ~]# tar -zxf spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/
复制后得到spark-env.sh,打开spark-env.sh添加内容
[root@master bin]# cd /usr/local/spark-2.0.0-bin-hadoop2.6/conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh
export JAVA_HOME=/usr/local/src/jdk1.8.0_152
export HADOOP_HOME=/opt/hadoop
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
export SPARK_MASTER_IP=master
export SPART_LOCAL_IP=master
进入spark目录的/sbin下启动spark集群
[root@master conf]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/sbin/
[root@master sbin]# ./start-all.sh
jps查看
[root@master sbin]# jps
启动spark-shell
[root@master ~]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/
[root@master spark-3.2.1-bin-hadoop2.7]# ./bin/spark-shell
查看网页http://192.168.20.10:8080
四、安装伪分布式scala
将安装包解压到/usr/local目录下
[root@master ~]# tar -zxf scala-2.11.8.tgz -C /usr/local
配置scala环境变量
[root@master ~]# vim /etc/profile
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
[root@master ~]# source /etc/profile
[root@master ~]# scala