伪分布式搭建hadoop

一、安装JAVA环境

1.下载JDK安装包

安装包：jdk-8u152-linux-x64.tar.gz

2.卸载自带OpenJDK

[root@master ~]#rpm -qa | grep java

卸载相关服务

查看删除结果再次键入命令 java -version 出现以下结果表示删除成功

[root@master ~]#java –version

bash: java: 未找到命令

3.安装JDK

[root@master ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

[root@master ~]# ls /usr/local/src/
jdk1.8.0_152

4. 设置 JAVA 环境变量

[root@master ~]# vi /etc/profile

在文件的最后增加两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

使配置文件生效

[root@master ~]# source /etc/profile

检查JAVA是否可用：

[root@master ~]# echo $JAVA_HOME

/usr/local/src/jdk1.8.0_152

[root@master ~]# java –version

java version "1.8.0_152"

Java(TM) SE Runtime Environment (build 1.8.0_152-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

能够正常显示则说明配置成功。

二、实现免密登录

1.创建ssh密钥，生成公私密钥

[root@master hadoop]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2.将master公钥id_dsa复制到master进行公钥认证，实现免密登录。

[root@master hadoop]# ssh-copy-id -i /root/.ssh/id_dsa.pub master

[root@master hadoop]# ssh master

[root@master ~]# exit

三、hadoop环境的安装与配置

1.改名

将hadoop-2.7.1.tar.gz压缩包解压到opt/software文件下，并改名为hadoop

2.修改环境变量

[root@master ~]# vi /etc/profile

在文件最后添加两行：

export HADOOP_HOME=/usr/local/src/hadoop-2.7.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行 source 使用设置生效：

[root@master ~]# source /etc/profile

3.编辑/usr/local/src/hadoop/etc/hadoop/hadoop-env.sh文件

4.编辑core-site.xml文件

5.编辑hdfs-site.xml文件

6.配置mapred-site.xml

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

7.配置yarn-site.xml文件

8.配置/opt/hadoop/etc/hadoop/slaves文件

9.格式化hdfs

[root@master hadoop]# hdfs namenode –format

[root@master hadoop]# start-all.sh

[root@master hadoop]# jps

在浏览器的地址栏输入http://master:50070，进入页面可以查看NameNode和DataNode 信息

四、安装伪分布式spark

1.将安装包解压到/opt/software/文件下

[root@master ~]# tar -zxvf /opt/software/spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/src/

2.复制和重命名后得到spark-env.sh，打开spark-env.sh文件添加内容

[root@master sbin]# cd /usr/local/src/spark-3.2.1-bin-hadoop2.7/conf/

[root@master conf]# cp spark-env.sh.template spark-env.sh

[root@master conf]# vi spark-env.sh

在文件最后添加：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export HADOOP_HOME=/opt/hadoop

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

export SPARK_MASTER_IP=master

export SPART_LOCAL_IP=master

3.进入spark目录的/sbin下启动spark集群，jps查看

[root@master conf]# cd /usr/local/src/spark-3.2.1-bin-hadoop2.7/sbin/

[root@master sbin]# ./start-all.sh

[root@master sbin]# jps

4.启动spark-shell

[root@master ~]# cd /usr/local/src/spark-3.2.1-bin-hadoop2.7/sbin/

[root@master sbin]# spark shell

5.在浏览器中查看http://master:8080

五、安装伪分布式scala

1.上传并解压安装scala安装包

[root@master ~]# tar -zxvf/opt/software/scala-2.11.8.tgz -C /usr/local/src

2.设置环境变量

[root@master ~]# vim /etc/profile

#SCALA

export SCALA_HOME=/usr/local/src/scala-2.11.8

export PATH=$PATH:${SCALA_HOME}/bin

[root@master ~]# source /etc/profile  

[root@master src]# scala -version

[root@master src]# scala