Hadoop单节点安装与JDK的安装

1.安装JDK

（1）卸载现有JDK

cd ~
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

(2) 创建software和module文件夹

mkdir /opt/software
mkdir /opt/module

(3)用传输工具将JDK导入到opt目录下面的software文件夹下面

(3) 在Linux系统下的 /opt/software/目录中查看软件包是否导入成功

ls /opt/software/

(4) 解压JDK到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

(5) 配置JDK环境变量

• 新建/etc/profile.d/my_env.sh文件

sudo vim /etc/profile.d/my_env.sh

• 添加如下内容

export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

• source一下/etc/profile文件，让新的环境变量PATH生效

source /etc/profile

(6) 测试JDK是否安装成功

• java -version

如果能看到以下结果，则代表Java安装成功。

2.安装Hadoop

（1）用文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

（2）进入到Hadoop安装包路径下

cd /opt/software/

（3）解压安装文件到/opt/module下面

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

（4）查看是否解压成功

ls /opt/module/

（5）将Hadoop添加到环境变量

​ <1>获取Hadoop安装路径

[root@hadoop100 module]# cd /opt/module/hadoop-3.1.3/
[root@hadoop100 hadoop-3.1.3]# pwd

/opt/module/hadoop-3.1.3

​ <2>打开/etc/profile.d/my_env.sh文件

vim /etc/profile.d/my_env.sh

​ 添加以下内容：

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

​ **<3>保存后退出:wq **

（6）source一下/etc/profile文件，让新的环境变量PATH生效

source /etc/profile

(7)测试是否安装成功

hadoop version

3.配置Hadoop单节点

（1）进入到配置文件存储目录下

cd /opt/module/hadoop-3.1.3/etc/hadoop/

（2）修改配置文件

<1>修改 core-site.xml

vim core-site.xml

• 里添加以下内容：

  <!-- 指定NameNode的地址 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop100:8020</value>**#注意和自己的主机名保持一致**
  </property>
  <!-- 指定hadoop数据的存储目录 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<2>修改hdfs-site.xml

vim hdfs-site.xml

• 里添加以下内容：

<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop100:9870</value>**#注意和自己的主机名保持一致**
</property>

<3>修改hadoop-env.sh

vim hadoop-env.sh

• 在文件末尾添加以下内容：

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3

<4>修改 yarn-site.xml

vim yarn-site.xml

• 里添加以下内容：

<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop100</value> **#注意和自己的主机名保持一致**
</property>
 <!-- 环境变量的继承 -->
<property>
    <name>yarn.nodemanager.env-whitelist</name>    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<5>修改mapred-env.sh

vim mapred-env.sh

• 在文件最下面添加以下内容：

export JAVA_HOME=/opt/module/jdk1.8.0_212

<6>修改 mapred-site.xml

vim mapred-site.xml

• 里添加以下内容：

<!-- 指定MR运行在YARN上 -->
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

（3）启动集群

<1>格式化NameNode（第一次启动时格式化，以后就不要总格式化）

hdfs namenode -format

<2>启动/关闭NameNode

hdfs --daemon start/stop namenode  hdfs --daemon start namenode

<3>启动/关闭DataNode

hdfs --daemon start/stop datanode

<4>启动/关闭ResourceManager

yarn --daemon start/stop resourcemanager yarn --daemon start resourcemanager

<5>启动/关闭NodeManager

yarn --daemon start/stop nodemanager

<6> 查看启动状态

jps

<6>查看防火墙状态

systemctl status firewalld.service

<7>关闭防火墙

systemctl stop firewalld.service

<8>永久关闭防火墙，外部才能进行访问内部Hadoop

systemctl disable firewalld.service

（4）web端查看HDFS文件系统

http://192.168.10.100:9870

（5）YARN的浏览器页面查看

http://192.168.10.100:8088/cluster