Hadoop3：HDFS-存储优化之异构存储（冷热数据分离）

最新推荐文章于 2024-08-08 11:08:36 发布
最新推荐文章于 2024-08-08 11:08:36 发布
阅读量1.1k 收藏 18
点赞数 19
分类专栏： Hadoop 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Brave_heart4pzj/article/details/140417423
版权

一、简介

异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的效果。
在这里插入图片描述

它的使用，也是针对存储路径进行配置的。

二、存储类型和存储策略

1、存储类型

在这里插入图片描述

2、存储策略

在这里插入图片描述

3、常用命令

1、查看集群支持的策略

hdfs storagepolicies -listPolicies

在这里插入图片描述
可以看出，支持7种，但是，我们这里只做6种策略的配置。

2、查看指定路径的存储策略

hdfs storagepolicies -getStoragePolicy -path /hdfsdata

3、设置路径的存储策略

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy WARM

4、取消存储策略

执行改命令之后该目录或者文件，以其上级的目录为准，如果是根目录，那么就是HOT

5、查看文件块的分布

hdfs fsck /hdfsdata -files -blocks -locations

6、查看集群节点

三、环境准备

1、方案规划

服务器规模：5台
集群配置：副本数为2，创建好带有存储类型的目录（提前创建）
集群规划：
节点 存储类型分配
在这里插入图片描述

2、修改配置

由上规划可知，这次的配置，每个节点都是不同的，所以，不能群发。
配置文件：hdfs-site.xml

102

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name> 
	<value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[RAM_DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/ram_disk</value>
</property>

103

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>

104

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[RAM_DISK]file:///opt/module/hdfsdata/ram_disk,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>
</property>

105

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>
</property>

106

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property>
	<name>dfs.storage.policy.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>
</property>

我们可以看出，给对应路径前添加了标识
Hadoop集群是不会自己监测路径对应的磁盘属性的。
我们只能通过标识，然后，给对应的路径挂载对应类型的存储介质

3、集群重置

停止集群，删除data、logs目录，格式化NameNode，启动集群

myhadoop stop
jpsall

cd /opt/module/hadoop-3.1.3
rm -rf data/ logs/

hdfs namenode -format

创建目录

hadoop fs -mkdir /hdfsdata

上传数据

hadoop fs -put /opt/module/hadoop-3.1.3/NOTICE.txt /hdfsdata

在这里插入图片描述

四、HOT策略实验

策略逻辑：DISK：n

1、查看路径策略

hdfs storagepolicies -getStoragePolicy -path /hdfsdata

在这里插入图片描述
没有定义，就是采用默认策略，就是HOT策略。

2、查看上传的文件分布

hdfs fsck /hdfsdata -files -blocks -locations

在这里插入图片描述
两个副本，都存储在DISK类型的路径里。

五、WARM策略实验

策略逻辑：DISK：1，ARCHIVE:n-1
1、设置WARM策略

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy WARM
hdfs storagepolicies -getStoragePolicy -path /hdfsdata

在这里插入图片描述2、查看文件分布

hdfs fsck /hdfsdata -files -blocks -locations

发现没有变化
在这里插入图片描述
3、移动文件

hdfs mover /hdfsdata

在这里插入图片描述
4、再次查看文件分布

hdfs fsck /hdfsdata -files -blocks -locations

已经按照WARM策略分布文件
所以，我们在跟新路径存储策略之后，需要执行一下移动命令！
在这里插入图片描述

六、COLD策略实验

策略逻辑：ARCHIVE:n
1、设置COLD策略

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy COLD
hdfs storagepolicies -getStoragePolicy -path /hdfsdata

注意：当我们将目录设置为COLD并且我们未配置ARCHIVE存储目录的情况下，不可以向该目录直接上传文件，会报出异常。
在这里插入图片描述
2、移动文件

hdfs mover /hdfsdata

3、查看文件分布

hdfs fsck /hdfsdata -files -blocks -locations

在这里插入图片描述

七、ONE_SSD策略实验

策略逻辑：SSD:1,DISK:n-1
1、设置ONE_SSD策略

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy One_SSD
hdfs storagepolicies -getStoragePolicy -path /hdfsdata

在这里插入图片描述
2、移动文件

hdfs mover /hdfsdata

3、查看文件分布

hdfs fsck /hdfsdata -files -blocks -locations

在这里插入图片描述

八、ALL_SSD策略实验

策略逻辑：SSD:n
1、设置ALL_SSD策略

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy All_SSD
hdfs storagepolicies -getStoragePolicy -path /hdfsdata

在这里插入图片描述

2、移动文件

hdfs mover /hdfsdata

3、查看文件分布

hdfs fsck /hdfsdata -files -blocks -locations

在这里插入图片描述

九、LAZY_PERSIST策略实验

策略逻辑：RAM_DISK:1,DISK:n-1
1、设置LAZY_PERSIST策略

hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy lazy_persist
hdfs storagepolicies -getStoragePolicy -path /hdfsdata

在这里插入图片描述
2、移动文件

hdfs mover /hdfsdata

3、查看文件分布

hdfs fsck /hdfsdata -files -blocks -locations

在这里插入图片描述
发现，没有在内存里存储数据。

注意：
这是因为，我们还需要配置“dfs.datanode.max.locked.memory”，“dfs.block.size”参数。
dfs.block.size：设置块大小
dfs.datanode.max.locked.memory：设置内存存储数据的大小，默认0kb。
在这里插入图片描述
另外，内存存储数据的大小值设置，必须大于等于块大小。

同时，Linux系统也限制了内存存储数据的大小，默认64KB

ulimit -a

在这里插入图片描述
所以，无论是HDFS，还是Linux系统，都不建议把数据存放在内存中
因为，不安全，断电即丢失。

生产队队长
关注
专栏目录
第五章 HDFS—存储优化
qq_38358499的博客
06-27 820
说明：演示纠删码和异构存储需要一共 5 台虚拟机。尽量拿另外一套集群。提前准备 5 台 服务器的集群。 5.1 纠删码 HDFS 默认情况下，一个文件有 3 个副本，这样提高了数据的可靠性，但也带来了 2 倍 的冗余开销。Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约 50％左右的存储空间。 5.1.1 纠删码原理 纠删码操作相关的命令：hdfs ec 查看当前支持的纠删码策略：hdfs ec -listPolicies ...
Hadoop（33）：Hadoop调优之HDFS存储优化
bhegi_seg的博客
05-14 928
目录 0. 相关文章链接 1. 纠删码 1.1. 纠删码原理 1.2.?纠删码案例实操 2.?异构存储（冷热数据分离） 2.1. 什么是异构存储 2.2.?异构存储Shell操作 2.3.?测试环境准备 2.4.?HOT存储策略案例 2.5.?WARM存储策略测试 2.6. COLD策略测试 2.7.?ONE_SSD策略测试 2.8.?ALL_SSD策略测试 2.9.?LAZY_PERSIST策略测试 0. 相关文章链接 Hadoop & Hive 文章汇总 1. 纠删码 1.1. 纠删码原理
8、HDFS内存存储策略支持和“冷热温”存储
05-29
8、HDFS内存存储策略支持和“冷热温”存储 网址：https://blog.csdn.net/chenwewi520feng/article/details/130338388 本文介绍HDFS的存储策略以及“冷热温”存储的配置。 本文的前提依赖是hadoop集群环境可以正常的运行。
hdfs冷热数据统计
最新发布
思绪来得快去得也快，偶尔会在这里停留
08-08 250
hdfs dfsadmin -fetchImage ./ hdfs oiv -i ./fsimage_* -t ./temp/dir -o ./fs.csv -p Delimited -delimiter “,”
HDFS异构存储
06-04
Hadoop在2.6.0版本中引入了一个新特性异构存储.异构存储关键在于异构2个字.异构存储可以根据各个存储介质读写特性的不同发挥各自的优势.一个很适用的场景就是上篇文章提到的冷热数据的存储.针对冷数据,采用容量大的,读写性能不高的存储介质存储,比如最普通的Disk磁盘.而对于热数据而言,可以采用SSD的方式进行存储,这样就能保证高效的读性能,在速率上甚至能做到十倍于或百倍于普通磁盘读写的速度
大数据培训Hadoop运维工具箱之HDFS异构存储介绍
zjjcchina的博客
07-27 161
dfs.datanode.max.locked.memory”参数值未设置或者设置过小（小于“dfs.block.size”参数值）时，则会写入客户端所在的DataNode节点的DISK磁盘，其余副本会写入其他节点的DISK磁盘。这里我们发现所有的文件块都是存储在DISK，按照理论一个副本存储在RAM_DISK，其他副本存储在DISK中，这是因为，我们还需要配置“异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。1、最开始我们未设置存储策略的情况下，我们获取该目录的存储策略。...
Hadoop异构存储（冷热数据分离）
zhongmingyu
03-15 1197
异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。Hadoop异构存储是指在Hadoop集群中，使用不同种类的存储设备来存储数据。通常情况下，Hadoop集群中的所有节点都使用相同的存储设备，如硬盘或固态硬盘。但是，在某些情况下，使用异构存储可以提高集群的性能和容量。异构存储可以包括不同类型的存储设备，如硬盘、固态硬盘、闪存驱动器、云存储等。使用异构存储可以根据数据的访问模式和访问频率来选择最适合的存储设备，从而提高数据的访问速度和可靠性。
hdfs的异构存储
huan的学习记录
03-21 377
在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。
Hadoop调优手册(5)——HDFS存储优化
MartinGQ的博客
08-17 1229
纠删码 异构存储（冷热数据分离）
HDFS智能异构存储方案.pdf
05-16
HDFS异构存储，该方案能够智能的区分冷热数据，并按照配置的磁盘模式自动转移数据，做到冷热数据异构智能存储
HDFS 异构存储
MAYIBO—BG的专栏
07-29 839
参考： https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.html https://blog.csdn.net/androidlushangderen/article/details/51105876 目录 介绍 存储类型和存储策略 存储类型：ARCHIVE，DISK，SS...
Hadoop运维工具箱之HDFS异构存储
java_atguigu的博客
02-28 262
异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 Hadoop的存储类型和存储策略有; 1、查看当前有哪些存储策略可以用 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies-listPolicies 2、为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePolicy -pathxxx -policy xxx 3、获取指定路径（数据
HDFS 数据冷热分层
04-02 877
HDFS异构存储详解
weixin_49750432的博客
07-26 1633
异构存储是Hadoop2.6.0版本出现的新特性，可以根据各个存储介质读写特性不同进行选择。例如冷热数据的存储，对冷数据采取容量大，读写性能不高的存储介质如机械硬盘，对于热数据，可使用SSD硬盘存储。HDFS支持把数据写入由DataNode管理的对外内存DataNode异步地将内存中数据刷新到磁盘，从而减少代价较高的磁盘IO操作，这种写入被称为Lazy Persist写入该特性从Apache Hadoop 2.6.0开始支持。
HDFS异构存储机制
breakout_alex的博客
05-24 816
目录： 1.异构存储介绍 2.存储介质 3.HDFS存储策略（异构存储） 4.HDFS异构存储原理 5.HDFS异构存储的使用 一，异构存储介绍 异构存储是Hadoop在2.6.0版本中引入了一个新特性，HBase也从1.1.0开始支持WAL的异构存储策略。 异构存储可以根据各个存储介质读写特性的不同发挥各自的优势. 一个很适用的场景就是冷热数据的存储.针对冷数据,采用容量...
Hadoop异构存储
weixin_42241438的博客
12-14 1221
Hadoop查看存储类型： 命令：hdfs storagepolicies -listPolicies ID Name 存储类型 降级机制（原本） 降级机制（副本） 1 PROVIDED PROVIDED DISK PROVIDED DISK PROVIDED DISK 2 COLD ARCHIVE 无 无 5 WARM
hdfs 异构存储简介
lixia0417mul2的博客
07-30 426
hdfs 存储策略
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值