hadoop之HDFS_2021-07-20

一、HDFS命令

上传

1）-moveFromLocal：从本地剪切粘贴到HDFS

​ [xuzm@hadoop102 hadoop-3.1.3]$ touch kongming.txt

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./kongming.txt /sanguo/shuguo

2）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal README.txt /

3）-appendToFile：追加一个文件到已经存在的文件末尾

​ [xuzm@hadoop102 hadoop-3.1.3]$ touch liubei.txt

​ [xuzm@hadoop102 hadoop-3.1.3]$ vi liubei.txt

​ 输入

​ san gu mao lu

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

4）-put：等同于copyFromLocal

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./zaiyiqi.txt /user/xuzm/test/

下载

1）-copyToLocal：从HDFS拷贝到本地

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo/kongming.txt ./

2）-get：等同于copyToLocal，就是从HDFS下载文件到本地

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo/kongming.txt ./

3）-getmerge：合并下载多个文件，比如HDFS的目录 /user/xuzm/test下有多个文件:log.1, log.2,log.3,…

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -getmerge /user/xuzm/test/* ./zaiyiqi.txt

HDFS直接操作

1）-ls: 显示目录信息

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /

2）-mkdir：在HDFS上创建目录

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir -p /sanguo/shuguo

3）-cat：显示文件内容

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo/kongming.txt

4）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -chown xuzm:xuzm /sanguo/shuguo/kongming.txt

5）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

6）-mv：在HDFS目录中移动文件

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

7）-tail：显示一个文件的末尾

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /sanguo/shuguo/kongming.txt

8）-rm：删除文件或文件夹

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /user/xuzm/test/jinlian2.txt

9）-rmdir：删除空目录

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /test

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -rmdir /test

10）-du统计文件夹的大小信息

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /user/xuzm/test

​ 2.7 K /user/xuzm/test

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -du -h /user/xuzm/test

​ 1.3 K /user/xuzm/test/README.txt

​ 15 /user/xuzm/test/jinlian.txt

​ 1.4 K /user/xuzm/test/zaiyiqi.txt

11）-setrep：设置HDFS中文件的副本数量

​ [xuzm@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

二、Linux常用命令

1）查看端口
netstat -nltp | grep 8080

2）查找命令来源（软件包）
yum provides netstat

3）查看分区大小
df -h

4）查看文件夹大小
du /opt/module/hadoop/

5）以树形结构查看目录
tree /opt/module/hadoop/

6）查看系统进程
top

7）查看剩余内存
free -h

8）查看磁盘读写性能
iotop

9）查看历史输入命令
history

三、HDFS客户端环境准备（windows）

1）找到资料目录下的Windows依赖目录，打开：

选择Hadoop-3.1.0，拷贝到其他地方(比如d:)。

2）配置HADOOP_HOME环境变量

3）配置Path环境变量。然后重启电脑

4）验证

​ winutils

​ 重启计算机

四、HDFS文件写读流程

1）写入流程

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。

（2）NameNode返回是否可以上传。

（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。

（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。

（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

（6）dn1、dn2、dn3逐级应答客户端。

（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。

（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

注意：（1）当客服端链接不上第一个dn1时会直接抛异常，不写入任何数据；

​ （2）当客服端能链接dn1，但是dn1不能链接dn2或dn2不能链接dn3时，客服端也会接收到异常，但是会将数据传上去（HDFS后面会自动完成其他副本）。

2）副本节点选择（涉及机架感知）

3）读取流程

（1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。

（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。

（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

五、NN和2NN

1）工作机制

1）第一阶段：NameNode启动(启动与Redis的RDB-AOF类似)

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对元数据进行增删改。

2）第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

（2）Secondary NameNode请求执行CheckPoint。

（3）NameNode滚动正在写的Edits日志。

（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

（6）生成新的镜像文件fsimage.chkpoint。

（7）拷贝fsimage.chkpoint到NameNode。

（8）NameNode将fsimage.chkpoint重新命名成fsimage。

2）Fsimage和Edits解析

一、oiv查看Fsimage文件

（1）基本语法

​ hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径

（2）案例实操

​ [xuzm@hadoop102 current]$ pwd

​ /opt/module/hadoop-3.1.3/data/tmp/dfs/name/current

​ [xuzm@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000025 -o /opt/module/hadoop-3.1.3/fsimage.xml

二、oev查看Edits文件

（1）基本语法

​ hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

（2）案例实操

​ [xuzm@hadoop102 current]$ hdfs oev -p XML -i edits_0000000000000000012-0000000000000000013 -o /opt/module/hadoop-3.1.3/edits.xml

3）CheckPoint时间设置

1）通常情况下，SecondaryNameNode每隔一小时执行一次

​ [hdfs-default.xml]

<property>
 	<name>dfs.namenode.checkpoint.period</name>
	<value>3600</value>
</property>

2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次

<property>
 	<name>dfs.namenode.checkpoint.txns</name>
 	<value>1000000</value>
	<description>操作动作次数</description>
</property>
<property>
	<name>dfs.namenode.checkpoint.check.period</name>
	<value>60</value>
	<description> 1分钟检查一次操作次数</description>
</property >

4）集群安全模式

1）基本语法

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

六、DataNode

1）工作机制

（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

（4）集群运行中可以安全加入和退出一些机器。

2）数据完整性

如下是DataNode节点保证数据完整性的方法。

（1）当DataNode读取Block的时候，它会计算CheckSum。

（2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

（3）Client读取其他DataNode上的Block。

（4）DataNode在其文件创建后周期验证CheckSum。

3）掉线时限参数设置

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
  	<name>dfs.namenode.heartbeat.recheck-interval</name>
 	<value>300000</value>
</property>

<property>
  <name>dfs.heartbeat.interval</name>
  <value>3</value>
</property>

4）黑名单和白名单

修改hdfs-site.xml

<property>
		<name>dfs.hosts.exclude</name>
		<value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>
<property>
		<name>dfs.hosts</name>
		<value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>

5）多目录配置

1）DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本

2）具体配置如下

hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>