Centos 7.4 部署Hadoop平台,版本为2.7.6----------阶段一：HDFS篇

环境准备：

准备4台服务器，内存2G，硬盘20G，关闭selinux、关闭firewalld、关闭NetworkManager。

hostname              ip                    角色（在hadoop平台中扮演的角色）

nn01              192.168.1.10      NameNode，SecondaryNameNode

node1            192.168.1.11      DataNode

node2            192.168.1.12      DataNode

node3            192.168.1.13      DataNode

一、配置Hadoop平台的HDFS集群（分布式存储）

1、在管理节点nn01中，配置ssh秘钥。发送公钥给DataNode节点

配置ssh免密登录，包括nn01主机本身

2、修改地址解析文件，添加主机信息

vim /etc/hosts

3、同步hosts文件到DataNode主机

4、所有节点安装JAVA运行环境。java-1.8.0-openjdk.x86_64      java-1.8.0-openjdk-devel.x86_64

5、解压Hadoop包，把目录放到/usr/local/下。就相当于安装完毕了

6、修改Hadoop配置文件

①JAVA运行环境的路径和Hadoop的配置文件路径

②修改slaves，DataNode节点配置文件

③配置核心参数配置文件，定义hadoop的数据目录，定义hdfs分布式存储的路径

④配置hdfs的相关信息  vim hdfs-site.xml，定义NameNode的地址，定义SecondaryNameNode的地址，定义数据分片总数

7、同步hadoop目录到每一台DataNode节点上。同时创建数据目录    /var/hadoop

8、在nn01上，执行命令[root@nn01 hadoop]# ./bin/hdfs namenode -format     格式化NameNode。启动HDFS的启动脚本。执行命令[root@nn01 hadoop]# ./sbin/start-dfs.sh 

9、用jps命令验证节点角色     node1-node3  理应是角色为DataNode       nn01 理应角色为  NameNode和SecondaryNameNode

10、查看集群状态。命令  [root@nn01 hadoop]# ./bin/hdfs dfsadmin -report

 

 

HDFS配置完毕。