Hadoop之HDFS简介

HDFS基础架构

HDFS的基础架构如下图所示。

注：图片来源网易云课堂

HDFS主要包含两中类型的节点：NameNode和DataNode

NameNode称为管理节点，主要作用：

• 负责名称空间管理
• 负责文件到数据块的映射以及数据块与存储节点的对应关系

DataNode称为数据存储节点主要作用：

• 向管理节点汇报数据块信息；
• 存储节点之间通过复制操作来实现数据均衡和备份
• 与客户端交互，执行数据读写请求

图中可知，存储节点放置在不同的机架上（副本放置策略），数据被切分成了特定大小的数据块，分发到不同的存储节点。数据块在不同存储节点之间通过复制来实现。

HDFS的副本放置策略由Namenode来决定，NameNode根据配置好的机架感知信息来选择特定的节点列表。

HDFS默认是3副本放置策略：优先放置离写入客户端最近的DataNode节点；然后是该节点同机架上的一个节点；最后是与该节点在不同机架的一个节点

HDFS读流程

1. 客户端向NameNode发起读请求
2. NameNode返回请求文件的数据块所在的存储节点列表
3. 客户端根据返回的节点列表，优先选择最近的节点访问
4. 客户端直接与DataNode节点连接读取相应的Block数据，读完这个Block后关闭连接
5. 客户端再次选择下一个Block所在的节点重复上述过程

HDFS写流程

1. 客户端向Namenode发起写请求
2. NameNode返回需要写入文件的数据块所在的存储节点列表
3. 客户端根据返回的存储节点列表，优先选择最近的节点创建链接，如果客户端在DataNode节点上，则优先写本地节点
4. 客户端与第一个DataNode节点建立TCP链接，然后DataNode节点会根据客户端传递过来的节点信息，依次创建下一个DataNode节点的链接以及第二个到第三个DataNode节点的链接。这个过程称为创建DataNode管道
5. 客户端先写一个数据包，待第一个节点收到该数据包后，向其下一个节点发送这个数据包，直至第三个节点
6. 在最后一个节点完成数据包的接收后，向第二个节点发送确认信息，第二个节点收到确认信息后，将自己的确认信息发给第一个节点，然后第一个节点将确认信息发送给客户端。客户端收到这个数据包的确认信息后，才会发送下一个数据包，如此反复
7. 当一个数据块写完之后，客户端关闭这个DataNode管道，开始新的一个Block的DataNode管道并开始写入数据
8. 当数据写完后，关闭客户端

HDFS安装

Hadoop的版本有Apache开源版，Cloudera、Hortonworks、MapR等，本文以Apache版本为例，介绍三个节点的安装流程

三个节点分别为bigdata0、bigdata1、bigdata2（可以修改成自己的IP）

二进制包下载地址Hadoop

涉及到的参数列表

参数名	参数含义
fs.defaultFS	HDFS的名称空间地址
dfs.blocksize	块大小，默认是64M
dfs.replication	备份数，默认是3
dfs.reservedsize	磁盘保留空间，默认未开启
dfs.namenode.edit.dir	Namenode的edit日志存放路径
dfs.namenode.name.dir	Namenode的image文件存放路径
dfs.datanode.data.dir	DataNode的数据存储目录
dfs.namenode.rpc-address	NameNode的RPC服务端口号
dfs.namenode.http-address	Nameode HTTP服务端口号
dfs.datanode.address	DataNode的RPC服务端口号
dfs.datanode.http.address	DataNode HTTP服务端口号
fs.trash.interval	开启回收站

 

 

 

 

 

 

 

 

 

 

 

 

 

 

HDFS安装涉及到的配置文件有：core-site.xml  hdfs-site.xml

每个节点上执行如下流程。

1、解压hadoop安装包

tar -zxvf hadoop-2.7.6.tar.gz

如图所示

2、创建软链接，软连接用来配置环境变量，创建软连接的目的是在更改hadoop版本的时候，软连接名称可以不用改，环境变量也就不用修改了。

ln -s hadoop-2.7.6 hadoop-current

3、修改环境变量，把hadoop加入当前环境变量中

vim .bashrc

export PATH=/home/hadoop/hadoop-current/bin:/home/hadoop/hadoop-current/sbin:$PATH

4、配置hadoop  的JDK环境变量  

修改配置文件hadoop-current/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/user/lib/jvm/java-1.8.0-openjdk

5、配置namenode地址

修改配置文件hadoop-current/etc/hadoop/core-site.xml 

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://bigdata0:50000</value>
	</property>
</configuration>

6、配置namenode、datanode相关参数

修改配置文件hadoop-current/etc/hadoop/hdfs-site.xml 

注：bigdata1、bigdata2上配置要改成bigdata1(bigdata2)的地址

<configuration>
  <property>
     <name>dfs.datanode.address</name>
     <value>bigdata0:50010</value>
  </property>
  <property>
     <name>dfs.datanode.http.address</name>
     <value>bigdata0:50075</value>
  </property>
<property>
     <name>dfs.datanode.ipc.address</name>
     <value>bigdata0:50020</value>
  </property>
 <property>
     <name>dfs.namenode.name.dir</name>
     <value>/home/hadoop/name</value>
  </property>
<property>
     <name>dfs.datanode.data.dir</name>
     <value>/home/hadoop/data/0,/home/hadoop/data/1,/home/hadoop/data/2</value>
  </property>
</configuration>

7、启动HDFS

首先执行namenode格式化操作（首次启动）

hdfs namenode -format

启动namenode（daemon形式启动）

      hadoop-daemon.sh start namenode

启动datanode

     hadoop-daemon.sh start datanode

启动成功之后，就可以进行测试。

hdfs相关的命令：查看文件列表、上传文件、下载文件

#查看目录
hadoop fs -ls /
#创建目录
hadoop fs -lmkdir /tmp
hadoop fs -lmkdir /user/hadoop/input
#本地上传文件到hdfs
hadoop fs -put *.txt /user/hadoop/input
hadoop fs -ls /user/hadoop/input
#查看文件
hadoop fs -text /user/hadoop/input/LICENSE.txt
#文件下载（从HDFS下载到本地）
hadoop fs -get /user/hadoop/input/LICENSE.txt test.file

执行结果如下图所示。