HDFS-存储优化

注：演示纠删码和异构存储需要一共 5 台虚拟机。提前准备 5 台服务器的集群。

纠删码

纠删码原理

HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。

1 ）纠删码操作相关的命令

hdfs ec

 2 ）查看当前支持的纠删码策略

hdfs ec -listPolicies

 3 ） 纠删码策略解释:

RS-3-2-1024k：使用 RS 编码，每 3 个数据单元，生成 2 个校验单元，共 5 个单元，也就是说：这 5 个单元中，只要有任意的 3 个单元存在（不管是数据单元还是校验单元，只要总数=3），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。

 RS-10-4-1024k：使用 RS 编码，每 10 个数据单元（cell），生成 4 个校验单元，共 14个单元，也就是说：这 14 个单元中，只要有任意的 10 个单元存在（不管是数据单元还是校验单元，只要总数=10），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。

RS-6-3-1024k：使用 RS 编码，每 6 个数据单元，生成 3 个校验单元，共 9 个单元，也
就是说：这 9 个单元中，只要有任意的 6 个单元存在（不管是数据单元还是校验单元，只要
总数=6），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。
RS-LEGACY-6-3-1024k：策略和上面的 RS-6-3-1024k 一样，只是编码的算法用的是 rs-legacy。
XOR-2-1-1024k：使用 XOR 编码（速度比 RS 编码快），每 2 个数据单元，生成 1 个校验单元，共 3 个单元，也就是说：这 3 个单元中，只要有任意的 2 个单元存在（不管是数据单元还是校验单元，只要总数= 2），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

纠删码案例实操

 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。
 默认只开启对 RS-6-3-1024k 策略的支持，如要使用别的策略需要提前启用。

1 ）需求：将/input 目录设置为 RS-3-2-1024k 策略

hdfs ec -enablePolicy -policy RS-3-2-1024k

 （2）在 HDFS 创建目录，并设置 RS-3-2-1024k 策略

hdfs dfs -mkdir /input

hdfs ec -setPolicy -path /input -policy RS-3-2-1024k

 （3）上传文件，并查看文件编码后的存储情况

 注：你所上传的文件需要大于 2M 才能看出效果。（低于 2M，只有一个数据单元和两
个校验单元）

（4）查看存储路径的数据单元和校验单元，并作破坏实验

先删除一或两个节点里data的内容，然后去下载文件，发现是可以下载成功的

然后再快速删除三个节点里data内容，然后下载文件，发现是下载失败的。（速度要看，因为他会自动恢复已删除的节点，当然如果少于三个节点的数据后，就损坏了）

异构存储（冷热数据分离）

异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。

 

 异构存储 Shell  操作

（1）查看当前有哪些存储策略可以用

hdfs storagepolicies -listPolicies

 （2）为指定路径（数据存储目录）设置指定的存储策略

hdfs storagepolicies -setStoragePolicy -path xxx -policy xxx

（3）获取指定路径（数据存储目录或文件）的存储策略

hdfs storagepolicies -getStoragePolicy -path xxx

（4）取消存储策略；执行改命令之后该目录或者文件，以其上级的目录为准，如果是根目录，那么就是 HOT

hdfs storagepolicies -unsetStoragePolicy -path xxx

（5）查看文件块的分布

bin/hdfs fsck xxx -files -blocks -locations

（6）查看集群节点

hadoop dfsadmin -report

测试环境准备

1 ）测试环境描述
服务器规模：5 台
集群配置：副本数为 2，创建好带有存储类型的目录（提前创建）
集群规划：

 2 ）配置文件信息

（1）为 hadoop102 节点的 hdfs-site.xml 添加如下信息

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[SSD]file:///opt/module/hadoop-
3.1.3/hdfsdata/ssd,[RAM_DISK]file:///opt/module/hadoop-
3.1.3/hdfsdata/ram_disk</value>
</property>

（2）为 hadoop103 节点的 hdfs-site.xml 添加如下信息

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[DISK]file:///opt/module/hadoop-
3.1.3/hdfsdata/disk</value>
</property>

（3）为 hadoop104 节点的 hdfs-site.xml 添加如下信息

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[RAM_DISK]file:///opt/module/hdfsdata/ram_disk,[DISK]file:///o
pt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>

（4）为 hadoop105 节点的 hdfs-site.xml 添加如下信息

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[ARCHIVE]file:///opt/module/hadoop-
3.1.3/hdfsdata/archive</value>
</property>

（5）为 hadoop106 节点的 hdfs-site.xml 添加如下信息

<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.storage.policy.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>[ARCHIVE]file:///opt/module/hadoop-
3.1.3/hdfsdata/archive</value>
</property>

3 ）数据准备

（1）启动集群

hdfs namenode -format

myhadoop.sh start

（1）并在 HDFS 上创建文件目录

 hadoop fs -mkdir /hdfsdata

（2）并将文件资料上传

hadoop fs -put /opt/module/hadoop-3.1.3/NOTICE.txt /hdfsdata

HOT  存储策略案例

（1）最开始我们未设置存储策略的情况下，我们获取该目录的存储策略

hdfs storagepolicies -getStoragePolicy -path /hdfsdata

 （2）我们查看上传的文件块分布

hdfs fsck /hdfsdata -files -blocks -locations

 未设置存储策略，所有文件块都存储在 DISK 下。所以，默认存储策略为 HOT。

  WARM  存储策略测试

（1）接下来我们为数据降温

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy WARM

 （2）再次查看文件块分布，我们可以看到文件块依然放在原处。

hdfs fsck /hdfsdata -files -blocks -locations

（3）我们需要让他 HDFS 按照存储策略自行移动文件块

hdfs mover /hdfsdata

（4）再次查看文件块分布

hdfs fsck /hdfsdata -files -blocks -locations

 文件块一半在 DISK，一半在 ARCHIVE，符合我们设置的 WARM 策略

COLD  策略测试

（1）我们继续将数据降温为 cold

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy COLD

 注意：当我们将目录设置为 COLD 并且我们未配置 ARCHIVE 存储目录的情况下，不可以向该目录直接上传文件，会报出异常。

（2）手动转移

hdfs mover /hdfsdata

（3）检查文件块的分布

bin/hdfs fsck /hdfsdata -files -blocks -locations

 所有文件块都在 ARCHIVE，符合 COLD 存储策略。

ONE_SSD  策略测试

（1）接下来我们将存储策略从默认的 HOT 更改为 One_SSD

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy One_SSD 

 （2）手动转移文件块

hdfs mover /hdfsdata

（3）转移完成后，我们查看文件块分布

 文件块分布为一半在 SSD，一半在 DISK，符合 One_SSD 存储策略。

 ALL_SSD  策略 测试

（1）接下来，我们再将存储策略更改为 All_SSD

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy All_SSD

 （2）手动转移文件块

hdfs mover /hdfsdata

（3）查看文件块分布，我们可以看到

bin/hdfs fsck /hdfsdata -files -blocks -locations

 所有的文件块都存储在 SSD，符合 All_SSD 存储策略。

LAZY_PERSIST  策略测试

（1）继续改变策略，将存储策略改为 lazy_persist

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy lazy_persist

 （2）手动转移文件块

 hdfs mover /hdfsdata

（3）查看文件块分布

hdfs fsck /hdfsdata -files -blocks -locations

 这里我们发现所有的文件块都是存储在 DISK，按照理论一个副本存储在 RAM_DISK，其他副本存储在 DISK 中，这是因为，我们还需要配置“dfs.datanode.max.locked.memory”，“dfs.block.size”参数。那么出现存储策略为 LAZY_PERSIST 时，文件块副本都存储在 DISK 上的原因有如下两点：
（1）当客户端所在的 DataNode 节点没有 RAM_DISK 时，则会写入客户端所在的DataNode 节点的 DISK 磁盘，其余副本会写入其他节点的 DISK 磁盘。
（2）当客户端所在的 DataNode 有 RAM_DISK，但“dfs.datanode.max.locked.memory”参数值未设置或者设置过小（小于“dfs.block.size”参数值）时，则会写入客户端所在的DataNode 节点的 DISK 磁盘，其余副本会写入其他节点的 DISK 磁盘。

但是由于虚拟机的“max locked memory”为 64KB，所以，如果参数配置过大，还会报出错误：

 我们可以通过该命令查询此参数的内存

ulimit -a