基于Hadoop2.6.5搭建HDFS集群(非HA模式)

目录

1. 前置准备

1.1 单机模式搭建教程

1.2 准备两台虚拟机

2. 环境配置

2.1 配置SSH免密登录

2.2 配置Java环境

2.3 解压Hadoop & 配置环境变量

2.4 关闭防火墙

3. Hadoop配置

3.1 进入Hadoop配置目录

3.2 编辑hadoop-env.sh文件

3.3 编辑core-site.xml文件

3.4 编辑hdfs-site.xml文件

3.5 编辑slaves文件

3.6 远程传输Hadoop文件夹

4. 启动 & 验证

4.1 node01节点格式化NameNode

4.2 node01节点启动

4.3 验证

---

1. 前置准备

1.1 单机模式搭建教程

Hadoop2.6.5单机模式搭建（伪分布式）

1.2 准备两台虚拟机

两台虚拟机角色分配如下表

	NameNode	SecondaryNode	DataNode
node01	√		√
node02		√	√

2. 环境配置

2.1 配置SSH免密登录

由于NameNode位于node01节点，因此只需配置node01向node02免密登录即可

具体步骤参照 CentOS 8配置SSH免密登录

2.2 配置Java环境

node01、node02节点分别配置Java环境，参考 CentOS 8配置Java环境

2.3 解压Hadoop & 配置环境变量

该步骤只在node01节点中做

Hadoop2.6.5下载、上传、解压及环境变量配置参照前置步骤1.1中单机模式搭建教程（2.1、2.2章节）

2.4 关闭防火墙

service firewalld stop
chkconfig firewalld off

3. Hadoop配置

3.1 进入Hadoop配置目录

cd /opt/bigdata/hadoop-2.6.5/etc/hadoop

3.2 编辑hadoop-env.sh文件

vi hadoop-env.sh

修改Java路径，该路径配置与/etc/profile文件中配置一致

3.3 编辑core-site.xml文件

vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node01:9000</value>
</property>

3.4 编辑hdfs-site.xml文件

vi hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/data</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node02:50090</value>
</property>
<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>

3.5 编辑slaves文件

vi slaves

添加DataNode节点启动位置

3.6 远程传输Hadoop文件夹

scp -r /opt/bigdata/hadoop-2.6.5 node02:/opt/bigdata/

4. 启动 & 验证

4.1 node01节点格式化NameNode

hdfs namenode -format

如图表示格式化成功

4.2 node01节点启动

start-dfs.sh

4.3 验证

hdfs dfs -mkdir /bigdata

使用windows主机访问http://node01IP:50070可以看到如下页面

且在该标签页可以看到创建的/bigdata目录