Centos7安装Hadoop 3.3.0

安装环境

系统环境
CentOS 7.8
 
 

安装Java （openjdk 1.8）

安装JDK
搜索1.8版本可安装的文件

yum list java-1.8* 

 
安装JDK 1.8.0

yum install java-1.8.0-openjdk* -y

 
修改系统变量

1. 查找JDK的安装路径

which java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java

2. 编辑/etc/profile，内容格式如下：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 
 

安装Hadoop

下载Hadoop
在http://mirror.bit.edu.cn/apache/hadoop/common查看可安装的版本
这里是下载的3.3.0版本（http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz）
 
解压缩

tar xf hadoop-3.3.0.tar.gz

 
配置Hadoop
参考官方说明文档https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html，这里用的是Pseudo-Distributed Operation安装方式

1. 修改安装目录/etc/hadoop/core-site.xml文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2. 修改安装目录/etc/hadoop/hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3. 配置本地免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

4. 修改安装目录/etc/hadoop/hadoop-evn.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64

5. 修改安装目录/sbin/start-dfs.sh和stop-dsf.sh，在顶部添加：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

6. 进入Hadoop安装目录，格式化

bin/hadoop namenode -format

7. 启动dfs，确认没有报错。

sbin/start-dfs.sh

8. 访问http://IP:9870，看到页面后标识已安装成功。
    

配置YARN

1. 修改安装目录/etc/hadoop/mapred-site.xml文件

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

2. 修改安装目录/etc/hadoop/yarn-site.xml文件

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3. 修改安装目录/sbin/start-yarn.sh和stop-yarn.sh，在顶部添加

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
YARN_RESOURCEMANAGER_USER=root
YARN_NODEMANAGER_USER=root

4. 启动yarn，确认没有报错：

sbin/start-yarn.sh

5. 访问http://IP:8088，看到页面后标识已安装成功。