Hadoop 生产调优 (五) --------- HDFS 存储优化

最新推荐文章于 2024-06-25 10:47:00 发布
最新推荐文章于 2024-06-25 10:47:00 发布
阅读量1.4k 收藏 6
点赞数 3
分类专栏： Hadoop 文章标签： Hadoop3.x 纠删码 异构存储 存储策略 数据迁移
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51111980/article/details/125934037
版权

目录

一、纠缠码

纠缠码原理

HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％ 左右的存储空间。

在这里插入图片描述
纠删码操作相关的命令

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs ec
Usage: bin/hdfs ec [COMMAND]
          [-listPolicies]
          [-addPolicies -policyFile <file>]
          [-getPolicy -path <path>]
          [-removePolicy -policy <policy>]
          [-setPolicy -path <path> [-policy <policy>] [-replicate]]
          [-unsetPolicy -path <path>]
          [-listCodecs]
          [-enablePolicy -policy <policy>]
          [-disablePolicy -policy <policy>]
          [-help <command-name>].

查看当前支持的纠删码策略

[fancyry@hadoop102 hadoop-3.1.3] hdfs ec -listPolicies

Erasure Coding Policies:
ErasureCodingPolicy=[Name=RS-10-4-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=10, numParityUnits=4]], CellSize=1048576, Id=5], State=DISABLED

ErasureCodingPolicy=[Name=RS-3-2-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=3, numParityUnits=2]], CellSize=1048576, Id=2], State=DISABLED

ErasureCodingPolicy=[Name=RS-6-3-1024k, Schema=[ECSchema=[Codec=rs, numDataUnits=6, numParityUnits=3]], CellSize=1048576, Id=1], State=ENABLED
 
ErasureCodingPolicy=[Name=RS-LEGACY-6-3-1024k, Schema=[ECSchema=[Codec=rs-legacy, numDataUnits=6, numParityUnits=3]], CellSize=1048576, Id=3], State=DISABLED

ErasureCodingPolicy=[Name=XOR-2-1-1024k, Schema=[ECSchema=[Codec=xor, numDataUnits=2, numParityUnits=1]], CellSize=1048576, Id=4], State=DISABLED

纠删码策略解释:

RS-3-2-1024k：使用RS编码，每3个数据单元，生成2个校验单元，共5个单元，也就是说：这5个单元中，只要有任意的3个单元存在（不管是数据单元还是校验单元，只要总数=3），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

在这里插入图片描述

RS-10-4-1024k：使用RS编码，每10个数据单元（cell），生成4个校验单元，共14个单元，也就是说：这14个单元中，只要有任意的10个单元存在(不管是数据单元还是校验单元，只要总数=10），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-6-3-1024k：使用RS编码，每6个数据单元，生成3个校验单元，共9个单元，也就是说：这9个单元中，只要有任意的6个单元存在（不管是数据单元还是校验单元，只要总数=6），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

RS-LEGACY-6-3-1024k：策略和上面的RS-6-3-1024k一样，只是编码的算法用的是rs-legacy。

XOR-2-1-1024k：使用XOR编码（速度比RS编码快），每2个数据单元，生成1个校验单元，共3个单元，也就是说：这3个单元中，只要有任意的2个单元存在（不管是数据单元还是校验单元，只要总数= 2），就可以得到原始数据。每个单元的大小是1024k=1024*1024=1048576。

案例

纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。默认只开启对RS-6-3-1024k策略的支持，如要使用别的策略需要提前启用。

需求：将/input目录设置为RS-3-2-1024k策略

具体步骤

A、开启对RS-3-2-1024k策略的支持

[fancyry@hadoop102 hadoop-3.1.3]$  hdfs ec -enablePolicy  -policy RS-3-2-1024k
Erasure coding policy RS-3-2-1024k is enabled

B、在HDFS创建目录，并设置RS-3-2-1024k策略

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs dfs -mkdir /input

[fancyry@hadoop202 hadoop-3.1.3]$ hdfs ec -setPolicy -path /input -policy RS-3-2-1024k

C、上传文件，并查看文件编码后的存储情况

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs dfs -put web.log /input

注：你所上传的文件需要大于2M才能看出效果。(低于2M，只有一个数据单元和两个校验单元)

D、查看存储路径的数据单元和校验单元，并作破坏实验

二、异构存储 (冷热数据分离)

异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。

在这里插入图片描述

存储类型与存储策略

在这里插入图片描述

1. 异构存储 Shell 操作

A、查看当前有哪些存储策略可以用

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -listPolicies

B、为指定路径（数据存储目录）设置指定的存储策略

hdfs storagepolicies -setStoragePolicy -path xxx -policy xxx

C、获取指定路径（数据存储目录或文件）的存储策略

hdfs storagepolicies -getStoragePolicy -path xxx

D、取消存储策略；执行改命令之后该目录或者文件，以其上级的目录为准，如果是根目录，那么就是HOT

hdfs storagepolicies -unsetStoragePolicy -path xxx

E、查看文件块的分布

bin/hdfs fsck xxx -files -blocks -locations

F、查看集群节点

hadoop dfsadmin -report

2. 测试环境准备

测试环境描述

服务器规模：5台
集群配置：副本数为2，创建好带有存储类型的目录（提前创建）
集群规划：
  节点	         存储类型分配
hadoop102	RAM_DISK，SSD
hadoop103	SSD，DISK
hadoop104	DISK，RAM_DISK
hadoop105	ARCHIVE
hadoop106	ARCHIVE

配置文件信息

A、为 hadoop102 节点的 hdfs-site.xml 添加如下信息

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name> 
	<value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[RAM_DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/ram_disk</value>
</property>

B、为hadoop103节点的hdfs-site.xml添加如下信息

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>

C、为 hadoop104 节点的 hdfs-site.xml 添加如下信息

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[RAM_DISK]file:///opt/module/hdfsdata/ram_disk,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>

D、为hadoop105节点的hdfs-site.xml添加如下信息

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>
</property>

E、为hadoop106节点的hdfs-site.xml添加如下信息

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>
</property>

数据准备

A、启动集群

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
[fancyry@hadoop102 hadoop-3.1.3]$ myhadoop.sh start

B、并在HDFS上创建文件目录

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /hdfsdata

C、并将文件资料上传

[fancyry@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/module/hadoop-3.1.3/NOTICE.txt /hdfsdata

3. HOT 存储策略案例

最开始我们未设置存储策略的情况下，我们获取该目录的存储策略

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -getStoragePolicy -path /hdfsdata

我们查看上传的文件块分布

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.104:9866,DS-0b133854-7f9e-48df-939b-5ca6482c5afb,DISK], DatanodeInfoWithStorage[192.168.10.103:9866,DS-ca1bd3b9-d9a5-4101-9f92-3da5f1baa28b,DISK]]

未设置存储策略，所有文件块都存储在DISK下。所以，默认存储策略为HOT。

4. WARM 存储策略测试

接下来我们为数据降温

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy WARM

再次查看文件块分布，我们可以看到文件块依然放在原处

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs fsck /hdfsdata -files -blocks -locations

我们需要让他 HDFS 按照存储策略自行移动文件块

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs mover /hdfsdata

再次查看文件块分布

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs fsck /hdfsdata -files -blocks -locations


[DatanodeInfoWithStorage[192.168.10.105:9866,DS-d46d08e1-80c6-4fca-b0a2-4a3dd7ec7459,ARCHIVE], DatanodeInfoWithStorage[192.168.10.103:9866,DS-ca1bd3b9-d9a5-4101-9f92-3da5f1baa28b,DISK]]

文件块一半在DISK，一半在ARCHIVE，符合我们设置的WARM策略

5. COLD 策略测试

我们继续将数据降温为 cold

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy COLD

注意：当我们将目录设置为 COLD 并且我们未配置 ARCHIVE 存储目录的情况下，不可以向该目录直接上传文件，会报出异常。

手动转移

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs mover /hdfsdata

检查文件块的分布

[fancyry@hadoop102 hadoop-3.1.3]$ bin/hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.105:9866,DS-d46d08e1-80c6-4fca-b0a2-4a3dd7ec7459,ARCHIVE], DatanodeInfoWithStorage[192.168.10.106:9866,DS-827b3f8b-84d7-47c6-8a14-0166096f919d,ARCHIVE]]

所有文件块都在ARCHIVE，符合COLD存储策略。

6. ONE_SSD 策略测试

接下来我们将存储策略从默认的HOT更改为One_SSD

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy One_SSD

手动转移文件块

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs mover /hdfsdata

转移完成后，我们查看文件块分布

[fancyry@hadoop102 hadoop-3.1.3]$ bin/hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.104:9866,DS-0b133854-7f9e-48df-939b-5ca6482c5afb,DISK], DatanodeInfoWithStorage[192.168.10.103:9866,DS-2481a204-59dd-46c0-9f87-ec4647ad429a,SSD]]

文件块分布为一半在SSD，一半在DISK，符合One_SSD存储策略。

7. ALL_SSD 策略测试

接下来，我们再将存储策略更改为All_SSD

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy All_SSD

手动转移文件块

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs mover /hdfsdata

查看文件块分布，我们可以看到

[fancyry@hadoop102 hadoop-3.1.3]$ bin/hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.102:9866,DS-c997cfb4-16dc-4e69-a0c4-9411a1b0c1eb,SSD], DatanodeInfoWithStorage[192.168.10.103:9866,DS-2481a204-59dd-46c0-9f87-ec4647ad429a,SSD]]

所有的文件块都存储在SSD，符合All_SSD存储策略。

8. LAZY_PERSIST 策略测试

继续改变策略，将存储策略改为 lazy_persist

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy lazy_persist

手动转移文件块

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs mover /hdfsdata

查看文件块分布

[fancyry@hadoop102 hadoop-3.1.3]$ hdfs fsck /hdfsdata -files -blocks -locations


[DatanodeInfoWithStorage[192.168.10.104:9866,DS-0b133854-7f9e-48df-939b-5ca6482c5afb,DISK], DatanodeInfoWithStorage[192.168.10.103:9866,DS-ca1bd3b9-d9a5-4101-9f92-3da5f1baa28b,DISK]]

这里我们发现所有的文件块都是存储在 DISK，按照理论一个副本存储在 RAM_DISK，其他副本存储在 DISK 中，这是因为，我们还需要配置 dfs.datanode.max.locked.memory，dfs.block.size 参数。

那么出现存储策略为 LAZY_PERSIST 时，文件块副本都存储在DISK上的原因有如下两点：

当客户端所在的 DataNode 节点没有 RAM_DISK 时，则会写入客户端所在的DataNode节点的DISK磁盘，其余副本会写入其他节点的 DISK 磁盘。

当客户端所在的DataNode有RAM_DISK，但dfs.datanode.max.locked.memory 参数值未设置或者设置过小 (小于dfs.block.size 参数值）时，则会写入客户端所在的 DataNode 节点的 DISK 磁盘，其余副本会写入其他节点的 DISK 磁盘。

但是由于虚拟机的 max locked memory 为 64KB，所以，如果参数配置过大，还会报出错误：

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.lang.RuntimeException: Cannot start datanode because the configured max locked memory size (dfs.datanode.max.locked.memory) of 209715200 bytes is more than the datanode's available RLIMIT_MEMLOCK ulimit of 65536 bytes

我们可以通过该命令查询此参数的内存

[fancyry@hadoop102 hadoop-3.1.3]$ ulimit -a

max locked memory       (kbytes, -l) 64
在森林中麋了鹿
关注
专栏目录
尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】
upward
03-31 1459
尚硅谷大数据技术Hadoop教程-笔记06【Hadoop-生产调优手册】
hadoop hdfs配置设置和优化
04-09
dfs.datanode.du.reserved - 磁盘满了导致的问题很难预料，HDFS可能会导致部分数据写入异常，MySQL可能会出现直接宕机等等， 所以最好的办法就是：不要使盘的利用率达到100%。 - 数据存储周期规划好，定期清理数据。或者实现自动化清理。
生产调优HDFS—存储优化
weixin_44966780的博客
12-06 959
生产调优HDFS—存储优化 注：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台服务器的集群。 纠删码 纠删码原理 HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 1）纠删码操作相关的命令 hdfs ec 2）查看当前支持的纠删码策略 hdfs ec -listPolicies 3）纠删码策略解释: RS-3-2-1024k：使用 RS
HDFS集群优化
weixin_44361667的博客
03-02 321
操作系统级别优化 1.优化文件系统 （推荐使用EXT4和XFS文件系统，相比较而言，更推荐后者，因为XFS已经帮我们做了大量的优化。） 2.预读缓冲 　　预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间，增加Linux文件系统预读缓冲区的大小(默认为256 sectors，128KB)，可以明显提高顺序文件的读性能，建议调整到1024或2048 sectors。预读缓冲区的设置可以通过blockdev命令来完成。 3.放弃RAID和LVM磁盘管理方式，选用JBOD 复制代码 不使用RAID 　　应避
Hadoop生态圈（七）- HDFS优化方案
程序园@大Null
01-17 2754
短路本地读取：Short Circuit Local Reads，makeHDFS Block负载平衡器：Balancer，磁盘均衡器：HDFS Disk Balancer，纠删码技术：Erasure Coding，Reed-Solomon（RS）码，Hadoop EC架构，Erasure Coding部署方式，HDFS Disk Balancer相关命令，短路本地读取安全性改进，短路本地读取配置
HDFS 优化
weixin_42660202的博客
02-26 556
HDFS优化
hadoop_test.rar_API_client_hadoop test 作用_hadoop test_hadoop-te
09-23
首先，我们要了解`HDFS（Hadoop Distributed File System）`，它是Hadoop的核心组件之一，为大规模数据存储提供了高可用性和容错性。`HDFS API`允许开发者直接与HDFS进行交互，执行文件的读写、目录操作等任务。在`...
hdfs-site.xml配置文件详解
10-22
了解hdfs-site.xml的配置项对于调优Hadoop集群，满足特定需求是非常有帮助的。下面对hdfs-site.xml中的部分关键配置项进行详细解析。 1. dfs.namenode.logging.level 该配置项定义了HDFS中NameNode日志的记录级别。...
hadoop-common-2.2.0-bin-masters.zip
09-09
解决这个问题后，你就可以继续配置和运行Hadoop集群，利用Hadoop Common提供的各种工具和功能，如处理大数据、实现分布式存储和计算。在实际应用中，还需要关注Hadoop的安全性、容错性、性能调优等多个方面。
hadoop-2.7.5-with-centos7.6.tar.gz
08-24
4. 性能调优：通过调整Hadoop的配置参数，如副本数、Block大小、内存分配等，提升系统性能。 六、安全与监控 1. Hadoop安全：可以启用Hadoop的安全特性，如Kerberos认证，保护数据安全。 2. 监控工具：利用Hadoop...
HDFS小文件处理方案
08-30
讲解HDFS小文件处理方案方法
HDFS优化
weixin_45116848的博客
11-26 244
HDFS优化 1.HDFS存在的问题 NameNode:单点故障,难以运用与在线场景 NameNode:压力过大,且内存受限,影响系统扩展性. 2.解决问题HA ActionNameNode(主节点) 接受客户端请求,发送指令 工作 保存元数据信息:关机之后存放在磁盘里…fsimage 保存文件与block的映射 保存block与DN的映射:并不会持久化到磁盘里,需要开机启动汇...
hdfs优化
qq_35725352的博客
04-07 585
hdfs的优化主要包括两方面： 一、hdfs本身的优化，常见项有 1.1 文件块block的大小设置： (1). 数据块的备份数（复制因子，默认3） (2). HDFS数据块的大小,默认值是128M（hdfs的大小应当根据两个因素来确定，一个是系统中常见文件的大小，一个是系统硬盘的速度，最优值应当接近硬盘速度） 1.2 hdfs小文件归档，hdfs中可能存储了大量的小文件，及其影响性能，我们可以对...
HDFS空间优化
Sin_Geek成长の迹
09-17 1242
1 HDFS存档/归档 存档是用来备份的时候标识用的，说白就是做个标记，表示这个文档在上次备份之后有没有被修改过，比如当月1号，你给全盘做了一次备份，那么所有的文档的存档属性都会被清除，表示备份过了。此后，如果你修改了某个文件，那么这个文件的存档属性就会被加上。当几天后，你再做“增量”备份时候，系统就会只备份那些具有“存档”属性的文件。 每个文件均按块方式存储，每个块的元数据存储在nameno...
Hadoop HDFS 高阶优化方案
Stars.Sky 的博客
09-01 1069
Hadoop HDFS 高阶优化方案
HDFS优化常用项
paulfrank_zhang的博客
07-31 569
dfs.datanode.max.transfer.threads 一个datanode上最多能创建多少个XDataceiver进程   4096个(datanode收到一个请求就要创建一个XDataceiver进程) dfs.namenode.handler.count  NameNode中用于处理RPC调用的线程数，默认为10。对于较大的集群和配置较好的服务器...
第五章 HDFS—存储优化
qq_38358499的博客
06-27 840
说明：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台 服务器的集群。 5.1 纠删码 HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍 的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 5.1.1 纠删码原理 纠删码操作相关的命令：hdfs ec 查看当前支持的纠删码策略：hdfs ec -listPolicies ...
Hadoop 教程 - Hadoop调优之HDFS存储优化
最新发布
qq_33240556的博客
06-25 414
HDFS（Hadoop Distributed File System）作为Hadoop的核心组件之一，负责存储海量数据。优化HDFS存储不仅可以提升存储效率，还能增强数据的可靠性和访问速度。
hadoop调优-hdfs配置优化
manweizhizhuxia的博客
02-22 622
配置文件hdfs-site.xml 生产环境建议优化： <!-- 开启HDFS权限检查 --> <property> <name>dfs.permissions.enabled</name> <value>true</value> </property> <!-- NN处理rpc请求的线程数，默认为10，通常设置20*log(n)，n为集群数量，100个节点的集群可设置为90 --> &
尚硅谷Hive调优教程-查看执行计划与优化
在大数据处理领域，Hive是一种基于Hadoop的数据仓库工具，它允许用户使用SQL方言（HQL）对存储在Hadoop分布式文件系统（HDFS）中的大数据进行查询和分析。本资料重点讲解了Hive的优化技巧，特别关注了如何通过`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

在森林中麋了鹿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值