Hadoop笔记——HDFS运维详解

官方文档

https://hadoop.apache.org/docs/r3.3.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

一、HDFS概述

---

HDFS是分布式文件系统中的一种，通过目录树定位文件。

1. 适用场景：一次写入、多次读出、不支持修改、适用于数据分析。
2. 优点：高容错性、存储数据规模大、可使用廉价机器。
3. 缺点：不适合低延时数据访问、不适合大量小文件的存储、不支持并发写入、仅支持数据追加，不支持随机修改

二、HDFS组成

---

1. NameNode：文件系统的主管、管理命名空间、副本策略、数据块映射信息、客户端读写请求。
2. DataNode：存储数据库、执行NameNode下达的读/写操作。
3. Secondary NameNode：辅助NameNode，定期合并镜像文件(Fsimage)和编辑日志(Edits)，在NameNode出错后，可使用2NN恢复。
4. Client：即客户端

三、HDFS的Shell命令

---

在Linux本地，执行Shell命令操作HDFS文件系统，实现对HDFS文件系统的管理，以及本地与HDFS文件系统之间的上传下载操作。

• 基本语法：
  进入Hadoop软件安装目录（也可配置环境变量），执行：
  $ bin/hadoop fs 具体命令 或者 $ bin/hdfs dfs 具体命令
• 常用命令参数：

命令参数	作用
-help：	查看帮助
-ls:	显示目录信息
-mkdir：	在HDFS上创建目录
-moveFromLocal：	从本地剪切粘贴到HDFS
-appendToFile：	追加一个文件到已经存在的文件末尾
-cat：	显示文件内容
-chgrp 、-chmod、-chown：	与Linux文件系统中的用法一样，修改文件所属权限
-put、-copyFromLocal：	从本地文件系统中拷贝文件到HDFS路径去
-copyToLocal：	从HDFS拷贝到本地
-cp ：	从HDFS的一个路径拷贝到HDFS的另一个路径
-mv：	在HDFS目录中移动文件
-get：	等同于copyToLocal，就是从HDFS下载文件到本地
-getmerge：	合并下载多个文件
-tail：	显示一个文件的末尾
-rm：	删除文件或文件夹
-rmdir：	删除空目录
-du:	统计文件夹的大小信息
-setrep:	设置HDFS中某个文件的副本数量

四、HDFS客户端操作

---

在Linux本地可以使用前面的Shell命令操作HDFS系统，但是这种方法不适用于所有情况，例如我要在其他主机上通过Java程序操作HDFS文件系统实现上传下载等操作。
Hadoop提供了相应的API接口方便对HDFS进行连接。步骤包括：

1. 安装Hadoop并配置环境变量。（如果在Windows下，则需要Windows下编译的Hadoop）
2. 创建Maven工程并导入对应的Hadoop依赖。
3. 编写Java程序连接HDFS，得到FileSystem对象。
4. 调用相应的方法对HDFS进行操作。

在pom.xml导入依赖：

<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.8</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
</dependencies>

在HDFS上创建目录的案例：

public class HdfsClient{	
@Test
public static void main(String[] args) throws IOException, InterruptedException, URISyntaxException{
		
		// 1 获取文件系统
		Configuration configuration = new Configuration();
		// 配置在集群上运行
		// configuration.set("fs.defaultFS", "hdfs://hadoop101:9000");
		// FileSystem fs = FileSystem.get(configuration);

		FileSystem fs = FileSystem.get(new URI("hdfs://hadoop101:9000"), configuration, "Bessen");
		
		// 2 创建目录
		fs.mkdirs(new Path("/testAPI/mkdirs"));
		
		// 3 关闭资源
		fs.close();
	}
}

五、HDFS数据流读写流程

---

写数据：

1. 客户端向NameNode请求写入，得到响应。
2. 客户端请求上传第一个块，NameNode根据距离和DataNode负载情况选择上传节点，并告诉客户端。
3. 客户端向待上传的节点请求建立传输通道，各节点依次响应。
4. 客户端向通道第一个节点上传数据，各节点依次将内存中的数据向通道其他节点传输。
5. 传输完毕后，各节点将内存中的数据序列化到磁盘。

读数据：

六、SecondaryNameNode工作机制

---

为了保证效率，NameNode保存的元数据需要放在内存中，同时在磁盘中保存备份的元数据到镜像文件Fsimage。由于新的元数据无法及时写入到Fsimage，所以NameNode将元数据的增删改操作暂时保存到编辑日志文件Edits中。
合并编辑日志Edits和镜像文件Fsimage占用的内存较大，为了避免影响NameNode，因此将合并工作交给了SecondaryNameNode，2NN会定期或在Edits数据过多时进行CheckPoint工作，具体流程如下图所示。

CheckPoint时间间隔设置：

• hdfs-default.xml（该文件在Hadoop一个jar包下）

<!-- SecondaryNameNode每隔一小时执行一次checkpoint -->
<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

NameNode故障处理：
将SecondaryNameNode中数据拷贝到NameNode存储数据的目录。

1. kill -9 NameNode进程
2. 删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*

3. 拷贝SecondaryNameNode中数据到原NameNode存储数据目录

$ scp -r Bessen@hadoop03:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* /opt/module/hadoop-2.7.2/data/tmp/dfs/name/

5. 重新启动NameNode

$ sbin/hadoop-daemon.sh start namenode

七、DataNode工作机制

---

DataNode节点的注册机制和心跳机制如下图所示：

• 通常会使用crc等校验方法保证存储数据的完整性
• DataNode与NameNode通过心跳保持长连接，但一个节点掉线时长超过超时时长，则判断节点死亡。超时时长TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval，两个参数设置如下：
• etc/hadoop/hdfs-site.xml

<!-- 单位毫秒 -->
<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<!-- 单位秒 -->
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

节点的服役与退役
（1）服役新节点。

1. 首先确保新节点的Hadoop版本及配置文件与集群其他主机一致。
2. 如果新主机克隆自其他节点，需修改主机名、ip地址并删除data和log数据。
3. 在NameNode的白名单etc/hadoop/dfs.hosts添加新节点（文件需自己创建）。
4. 如果未配置过白名单，需修改NameNode的配置文件并分发：

• etc/hadoop/hdfs-site.xml

<!-- 白名单文件位置 -->
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

然后分别刷新NameNode和ResourceManager节点：

  $ hdfs dfsadmin -refreshNodes

  $ yarn rmadmin -refreshNodes

5. 使用单节点启动的方式启动节点：

  $ sbin/hadoop-daemon.sh start datanode

  $ sbin/yarn-daemon.sh stop nodemanager

注意： 如果希望新节点能够通过群起集群的方式启动，还需配置集群的分发脚本和slaves文件。

（2）退役旧节点
退役节点只需将该节点加入黑名单即可，黑名单权限高于白名单，黑名单上的节点会被强制退出。

如果未配置过黑名单，需在NameNode创建文件etc/hadoop/dfs.hosts.exclude，然后修改NameNode的配置文件并分发：

• etc/hadoop/hdfs-site.xml

<!-- 黑名单文件位置 -->
<property>
<name>dfs.hosts.exclude</name>
      <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

最后分别刷新NameNode和ResourceManager节点。

八、HDFS集群安全模式

---

NameNode启动时，集群进入安全模式，NameNode进行元数据的准备并从DataNode获取块信息，此时不能进行文件的上传下载操作。当满足“最小副本条件”时，集群在30秒后退出安全模式。
安全模式相关命令行指令：

• 查看安全模式状态：bin/hdfs dfsadmin -safemode get
• 进入安全模式状态：bin/hdfs dfsadmin -safemode enter
• 离开安全模式状态：bin/hdfs dfsadmin -safemode leave
• 等待状态，类似Thread.sleep()：bin/hdfs dfsadmin -safemode wait

九、HDFS的HA高可用

---

NameNode存在单点故障（SPOF）的问题，Hadoop2.0开始有了HA(high available).
Hadoop给HA提供了两种实现方式，具体搭建过程见官网：Quorum Journal Manager,QJM和NFS

HA的原理就是配置多个NameNode，一个Active活跃运行，其他Standby作为备用，Standby随时通过JournalNode（一个集群，至少三台主机，采用半数选择协议）上的Edits文件管理系统向Active同步元数据。

每个NameNode都在ZooKeeper中维护了一个持久会话，如果Active机器崩溃，ZooKeeper中的会话终止，ZooKeeper会选择另一个NameNode触发故障转移。ZooKeeper集群会选择一个Standby作为新的活跃NameNode，首先通过SSH向原来的NameNode发送kill命令补刀，补刀成功后将被选中的Standby切换为Active.（扶持傀儡政权）

故障转移的机制如下图所示：