Centos7下hadoop(2.8.5)分布式安装指南

1.修改主机名

查看当前的 hostname

hostname

永久修改hostname(立即生效）

hostnamectl set-hostname master

2.修改HOSTS(root权限)

修改每台机器的 /etc/hosts 文件

vi /etc/hosts
# 在文件中添加集群所有主机的 IP 和主机名的对应关系，IP 与主机名之间使用一个 TAB 键分隔
172.26.156.151 master
172.26.156.152 slave1
172.26.156.153 slave2

3.关闭SELinux(root权限)

4.关闭防火墙(root权限）

systemctl stop firewalld

5.配置ssh免密登录

开启 sshd 秘钥认证

vi /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys

创建免密码登录账户

useradd hadoop

passwd hadoop

生成公钥和私钥

su hadoop

ssh-keygen -t rsa

将公钥导入到认证文件

cat id_rsa.pub >> authorized_keys

将认证文件导入到其他节点

scp /home/hadoop/.ssh/authorized_keys hadoop@slave2:/home/hadoop/.ssh/authorized_keys

设置认证文件访问权限(master和slave2)

chmod 700 /home/hadoop/.ssh

chmod 600 /home/hadoop/.ssh/authorized_keys

6.安装JAVA环境(root权限)

解压到安装路径

 tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/

打开全局变量编辑文本

vim /etc/profile

设置环境变量

#Set Java Enviornment
export JAVA_HOME=/usr/local/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使配置生效

source /etc/profile

7.安装hadoop

使用如下操作命令将下载好的 hadoop-2.8.5.tar.gz 解压至安装目录

tar -zxvf hadoop-2.8.5.tar.gz -C /usr/local/

编辑 /home/hadoop/.bash_profile 配置文件，增加 Hadoop 相关用户环境变量内容如下：

vi /home/hadoop/.bash_profile

export HADOOP_HOME=/usr/local/hadoop-2.8.5
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH
#Set Java Enviornment
export JAVA_HOME=/usr/local/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使配置生效

source /home/hadoop/.bash_profile

8.配置hadoop

slaves文件配置

master
slave1
slave2

文件 core-site.xml 改为下面的配置：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/local/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

文件 hdfs-site.xml，dfs.replication 一般设为 3，但我们只有两个 Slave 节点，所以 dfs.replication 的值还是设为 2：

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

文件 yarn-site.xml：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

将/usr/local/hadoop2.8.5/etc/hadoop文件夹复制到各个节点上

scp /usr/local/hadoop-2.8.5/etc/hadoop/* hadoop@slave2:/usr/local/hadoop-2.8.5/etc/hadoop

9.操作hadoop集群

格式化NameNode

hdfs namenode -format

HDFS格式化完成之后，使用如下命令启动HDFS集群：

start-dfs.sh

**在浏览器中输入 http://172.26.156.151:50070 ，查看HDFS的管理界面。 **