8、HDFS内存存储策略支持和“冷热温”存储

已于 2024-08-13 08:43:34 修改
阅读量5w 收藏 4
点赞数
分类专栏： # hadoop专栏 文章标签： hdfs hadoop 大数据 分布式
于 2023-04-24 15:42:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenwewi520feng/article/details/130338388
版权

Hadoop系列文章目录

1、hadoop3.1.4简单介绍及部署、简单验证
2、HDFS操作 - shell客户端
3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java
4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）
5、HDFS API的RESTful风格–WebHDFS
6、HDFS的HttpFS-代理服务
7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法
8、HDFS内存存储策略支持和“冷热温”存储
9、hadoop高可用HA集群部署及三种方式验证
10、HDFS小文件解决方案–Archive
11、hadoop环境下的Sequence File的读写与合并
12、HDFS Trash垃圾桶回收介绍与示例
13、HDFS Snapshot快照
14、HDFS 透明加密KMS
15、MapReduce介绍及wordcount
16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN
17、MapReduce的分区Partition介绍
18、MapReduce的计数器与通过MapReduce读取/写入数据库示例
19、Join操作map side join 和 reduce side join
20、MapReduce 工作流介绍
21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件
23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

目录

本文介绍HDFS的存储策略以及“冷热温”存储的配置。
本文的前提依赖是hadoop集群环境可以正常的运行。

一、HDFS内存存储策略支持

1、LAZY PERSIST介绍

  • HDFS支持把数据写入由DataNode管理的堆外内存
  • DataNode异步地将内存中数据刷新到磁盘，从而减少代价较高的磁盘IO操作，这种写入称为 Lazy Persist写入
  • 该特性从Apache Hadoop 2.6.0开始支持

2、LAZY PERSIST执行流程

  1. 对目标文件目录设置 StoragePolicy 为 LAZY_PERSIST 的内存存储策略
  2. 客户端进程向 NameNode发起创建／写文件的请求
  3. 客户端请求到具体的 DataNode 后 DataNode 会把这些数据块写入 RAM内存中，同时启动异步线程服务将内存数据持久化写到磁盘上
  4. 内存的异步持久化存储是指数据不是马上落盘，而是懒惰的、延时地进行处理
    在这里插入图片描述

3、LAZY PERSIST设置使用

参考链接：
https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/MemoryStorage.html
https://blog.csdn.net/fighting_111/article/details/109304120
实现步骤：
1、虚拟内存盘配置

# 该步骤需要在每台机器上都需要做，也就是hadoop集群上的每台机器
# root用户才可以做此操作

# 创建目录/mnt/dn-tmpfs/
# 将tmpfs挂载到目录/mnt/dn-tmpfs/，并且限制内存使用大小为2GB
mount -t tmpfs -o size=2g tmpfs /mnt/dn-tmpfs/

# 执行示例
[root@server1 ~]# mkdir -p /mnt/dn-tmpfs/
[root@server1 ~]# cd /mnt/dn-tmpfs/
[root@server1 dn-tmpfs]# mount -t tmpfs -o size=2g tmpfs /mnt/dn-tmpfs/

#如果不是root用户创建的，则需要针对该目录进行授权
chown -R alanchan:root /mnt/dn-tmpfs

2、内存存储介质设置
将机器中已经完成好的虚拟内存盘配置到 dfs.datanode.data.dir 中，其次还要带上 RAM_DISK 标签

# 在server1上执行，修改hdfs-site.xml文件
cd /usr/local/bigdata//hadoop-3.1.4/etc/hadoop

vim hdfs-site.xml

# 添加如下内容
<property>
  <name>dfs.datanode.data.dir</name>
  <value>[DISK]file://${hadoop.tmp.dir}/dfs/data,[ARCHIVE]file://${hadoop.tmp.dir}/dfs/data/archive,[RAM_DISK]/mnt/dn-tmpfs</value>
</property>

# 复制文件到集群的其他机器
scp -r hdfs-site.xml server2:$PWD
scp -r hdfs-site.xml server3:$PWD
scp -r hdfs-site.xml server4:$PWD

# 是否开启异构存储，默认true开启
dfs.storage.policy.enabled

# 用于在数据节点上的内存中缓存块副本的内存量（以字节为单位）
# 默认情况下，此参数设置为0，这将禁用  内存中缓存。内存值过小会导致内存中的总的可存储的数据块变少，但如果超过 DataNode 能承受的最大内存大小的话，部分内存块会被直接移出
dfs.datanode.max.locked.memory

# 该参数本例中没有设置，一旦设置了datanode启动不成功，报的异常如下：
1G=1073741824*2 
java.lang.RuntimeException: Cannot start datanode because the configured max locked memory size (dfs.datanode.max.locked.memory) of 1073741824 bytes is more than the datanode's available RLIMIT_MEMLOCK ulimit of 65536 bytes.
通过网上查询设置如下命令，依然出现上面的异常，
ulimit -l 1073741824*2

#hdfs-site.xml
# 32GB

<property>
      <name>dfs.datanode.max.locked.memory</name>
      <value>34359738368</value>
</property>

下面的部分是没有设置dfs.datanode.max.locked.memory的情况下完成的
3、重启HDFS集群
web UI查看配置结果
在这里插入图片描述
4、在目录上设置存储策略

[DatanodeInfoWithStorage[192.168.10.44:9866,DS-97245afa-f1ec-4c50-93f8-0ba963e5f594,DISK], 
DatanodeInfoWithStorage[192.168.10.42:9866,DS-a551a688-b8f7-4b0c-b536-13032e26846f,DISK], 
DatanodeInfoWithStorage[192.168.10.43:9866,DS-189c3394-2fba-40e2-ad24-1b57785ec4d5,DISK]]

设置内存存储策略

# 命令
hdfs storagepolicies -setStoragePolicy -path <path> -policy LAZY_PERSIST

#1、创建需要存放数据的目录
hdfs dfs -mkdir -p /hdfs-test/data_phase/ram

#2、设置/hdfs-test/data_phase/ram存储策略
hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/ram -policy LAZY_PERSIST

#3、查看/hdfs-test/data_phase/ram存储策略
hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/ram

#4、上传文件到存放/hdfs-test/data_phase/ram
hdfs dfs -put /usr/local/tools/caskey /hdfs-test/data_phase/ram

#5、验证上传文件的存储策略
hdfs fsck /hdfs-test/data_phase/ram/caskey -files -blocks -locations
 
# 操作示例
[alanchan@server4 root]$ hdfs dfs -mkdir -p /hdfs-test/data_phase/ram
[alanchan@server4 root]$ hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/ram -policy LAZY_PERSIST
Set storage policy LAZY_PERSIST on /hdfs-test/data_phase/ram
[alanchan@server4 root]$ hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/ram
The storage policy of /hdfs-test/data_phase/ram:
BlockStoragePolicy{LAZY_PERSIST:15, storageTypes=[RAM_DISK, DISK], creationFallbacks=[DISK], replicationFallbacks=[DISK]}
[alanchan@server1 root]$ hdfs dfs -put /usr/local/tools/caskey /hdfs-test/data_phase/ram
[alanchan@server1 root]$ hdfs fsck /hdfs-test/data_phase/ram/caskey -files -blocks -locations
Connecting to namenode via http://server1:9870/fsck?ugi=alanchan&files=1&blocks=1&locations=1&path=%2Fhdfs-test%2Fdata_phase%2Fram%2Fcaskey
FSCK started by alanchan (auth:SIMPLE) from /192.168.10.41 for path /hdfs-test/data_phase/ram/caskey at Fri Sep 02 15:04:20 CST 2022

/hdfs-test/data_phase/ram/caskey 2204 bytes, replicated: replication=3, 1 block(s):  OK
0. BP-1903469242-192.168.10.41-1661487975430:blk_1073742713_1925 len=2204 Live_repl=3  [DatanodeInfoWithStorage[192.168.10.44:9866,DS-97245afa-f1ec-4c50-93f8-0ba963e5f594,DISK], DatanodeInfoWithStorage[192.168.10.42:9866,DS-a551a688-b8f7-4b0c-b536-13032e26846f,DISK], DatanodeInfoWithStorage[192.168.10.43:9866,DS-189c3394-2fba-40e2-ad24-1b57785ec4d5,DISK]]


Status: HEALTHY
 Number of data-nodes:  3
 Number of racks:               1
 Total dirs:                    0
 Total symlinks:                0

Replicated Blocks:
 Total size:    2204 B
 Total files:   1
 Total blocks (validated):      1 (avg. block size 2204 B)
 Minimally replicated blocks:   1 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.0
 Missing blocks:                0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)

Erasure Coded Block Groups:
 Total size:    0 B
 Total files:   0
 Total block groups (validated):        0
 Minimally erasure-coded block groups:  0
 Over-erasure-coded block groups:       0
 Under-erasure-coded block groups:      0
 Unsatisfactory placement block groups: 0
 Average block group size:      0.0
 Missing block groups:          0
 Corrupt block groups:          0
 Missing internal blocks:       0
FSCK ended at Fri Sep 02 15:04:20 CST 2022 in 3 milliseconds


The filesystem under path '/hdfs-test/data_phase/ram/caskey' is HEALTHY

二、“冷热温”存储的配置

  • "热"数据：一般数据使用模式是新产生的数据被应用程序大量使用
  • "温"数据：随着时间的推移，数据访问频率逐渐降低，如每周被访问几次
  • "冷"数据：在接下来的几周和几个月、年中，数据使用率下降得更多。

该数据的类型定义主要视具体的业务场景，时间往往是一个重要的定义标准。

Hadoop允许将不是热数据或者活跃数据的数据分配到比较便宜的存储上，用于归档或冷存储。可以设置存储策略，将较旧的数据从昂贵的高性能存储上转移到性价比较低(较便宜)的存储设备上。

Hadoop 2.5及以上版本都支持存储策略，在该策略下，不仅可以在默认的传统磁盘上存储HDFS数据，还可以在SSD(固态硬盘)上存储数据。

“冷热温”存储是Hadoop2.6.0版本出现的新特性,可以根据各个存储介质读写特性不同进行选择。例如冷热数据的存储，对冷数据采取容量大，读写性能不高的存储介质如机械硬盘，对于热数据，可使用SSD硬盘存储。在读写效率上性能差距大。异构特性允许我们对不同文件选择不同的存储介质进行保存，以实现机器性能的最大化。
不同介质性能对比，如下图。
在这里插入图片描述

1、HDFS存储类型

HDFS中声明定义了4种存储类型

  • RAM_DISK(内存)
  • SSD(固态硬盘)
  • DISK(机械硬盘)，默认使用
  • ARCHIVE(高密度存储介质，存储档案历史数据)
    在这里插入图片描述
    其中true和false指是否使用transient,transient代表非持久化,而只有内存存储是transient
    配置属性时主动声明。HDFS并没有自动检测的能力。
    配置参数dfs.datanode.data.dir = [SSD]file:///grid/dn/ssdO
    如果目录前没有带上［SSD] [DISK] [ARCHIVE] [RAM_DISK］ 这4种类型中的任何一种，则默认是DISK类型

2、块存储类型选择策略

块存储指的是对HDFS文件的数据块副本储存。
对于数据的存储介质，HDFS的BlockStoragePolicySuite 类内部定义了6种策略。
HOT（默认策略）
COLD
WARM
ALL_SSD
ONE_SSD
LAZY_PERSIST
前三种根据冷热数据区分，后三种根据磁盘性质区分
在这里插入图片描述

  • HOT：用于存储和计算。流行且仍用于处理的数据将保留在此策略中。所有副本都存储在DISK中
  • COLD：仅适用于计算量有限的存储。不再使用的数据或需要归档的数据从热存储移动到冷存储。所有副本都存储在ARCHIVE中
  • WARM：部分热和部分冷。热时，其某些副本存储在DISK中，其余副本存储在ARCHIVE中
  • All_SSD：将所有副本存储在SSD中
  • One_SSD：用于将副本之一存储在SSD中。其余副本存储在DISK中
  • Lazy_Persist：用于在内存中写入具有单个副本的块。首先将副本写入RAM_DISK，然后将其延迟保存在DISK中
    在这里插入图片描述

3、块存储类型选择策略–命令

1、设置存储策略

hdfs storagepolicies -setStoragePolicy -path <path> -policy <policy>
# path 引用目录或文件的路径
# policy 存储策略名称

2、查看存储策略

# 命令
hdfs storagepolicies -listPolicies
 
# 示例
 [alanchan@server1 sbin]$ hdfs storagepolicies -listPolicies
Block Storage Policies:
        BlockStoragePolicy{PROVIDED:1, storageTypes=[PROVIDED, DISK], creationFallbacks=[PROVIDED, DISK], replicationFallbacks=[PROVIDED, DISK]}
        BlockStoragePolicy{COLD:2, storageTypes=[ARCHIVE], creationFallbacks=[], replicationFallbacks=[]}
        BlockStoragePolicy{WARM:5, storageTypes=[DISK, ARCHIVE], creationFallbacks=[DISK, ARCHIVE], replicationFallbacks=[DISK, ARCHIVE]}
        BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}
        BlockStoragePolicy{ONE_SSD:10, storageTypes=[SSD, DISK], creationFallbacks=[SSD, DISK], replicationFallbacks=[SSD, DISK]}
        BlockStoragePolicy{ALL_SSD:12, storageTypes=[SSD], creationFallbacks=[DISK], replicationFallbacks=[DISK]}
        BlockStoragePolicy{LAZY_PERSIST:15, storageTypes=[RAM_DISK, DISK], creationFallbacks=[DISK], replicationFallbacks=[DISK]}

3、取消存储策略
在执行unset命令之后，将应用当前目录最近的祖先存储策略，如果没有任何祖先的策略，则将应用默认的存储策略

hdfs storagepolicies -unsetStoragePolicy -path <path>

4、冷热温数据存储策略（示例）

将数据分为冷、热、温三个阶段来存储，具体如下：

  • 热数据存储目录：/hdfs-test/data_phase/hot
  • 温数据存储目录：/hdfs-test/data_phase/warm
  • 冷数据存储目录：/hdfs-test/data_phase/cold

配置步骤如下：
1、配置DataNode存储目录，指定存储介质类型， hdfs-site.xml文件

# 在server1上找到hdfs-site.xml文件位置
cd /usr/local/bigdata//hadoop-3.1.4/etc/hadoop

vim hdfs-site.xml
# 添加如下内容

<property>
  <name>dfs.datanode.data.dir</name>
  <value>[DISK]file://${hadoop.tmp.dir}/dfs/data,[ARCHIVE]file://${hadoop.tmp.dir}/dfs/data/archive</value>
</property>

# 复制到集群的其他机器
scp -r hdfs-site.xml server2:$PWD
scp -r hdfs-site.xml server3:$PWD
scp -r hdfs-site.xml server4:$PWD

2、重启HDFS集群，验证配置
点击任意一个datanode进入下面的页面
在这里插入图片描述
服务器上实际的目录结构
在这里插入图片描述
3、创建需求中的目录结构

  • 热数据存储目录：/hdfs-test/data_phase/hot
  • 温数据存储目录：/hdfs-test/data_phase/warm
  • 冷数据存储目录：/hdfs-test/data_phase/cold
# 在任一台集群中的机器上执行
hdfs dfs -mkdir -p /hdfs-test/data_phase/hot
hdfs dfs -mkdir -p /hdfs-test/data_phase/warm
hdfs dfs -mkdir -p /hdfs-test/data_phase/cold

# 也可以通过web UI 创建对应的目录

创建好了目录结构后，如下图示
在这里插入图片描述
4、分别设置三个目录的存储策略

# 在任一台集群中的机器上执行命令
hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/hot -policy HOT
hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/warm -policy WARM
hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/cold -policy COLD

# 具体执行命令
[alanchan@server1 hadoop]$ hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/hot -policy HOT
Set storage policy HOT on /hdfs-test/data_phase/hot
[alanchan@server1 hadoop]$ hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/warm -policy WARM
Set storage policy WARM on /hdfs-test/data_phase/warm
[alanchan@server1 hadoop]$ hdfs storagepolicies -setStoragePolicy -path /hdfs-test/data_phase/cold -policy COLD
Set storage policy COLD on /hdfs-test/data_phase/cold

5、查看三个目录的存储策略

# 在任一台集群中的机器上执行命令
hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/hot
hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/warm
hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/cold

# 具体执行命令
[alanchan@server1 hadoop]$ hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/hot
The storage policy of /hdfs-test/data_phase/hot:
BlockStoragePolicy{HOT:7, storageTypes=[DISK], creationFallbacks=[], replicationFallbacks=[ARCHIVE]}
[alanchan@server1 hadoop]$ hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/warm
The storage policy of /hdfs-test/data_phase/warm:
BlockStoragePolicy{WARM:5, storageTypes=[DISK, ARCHIVE], creationFallbacks=[DISK, ARCHIVE], replicationFallbacks=[DISK, ARCHIVE]}
[alanchan@server1 hadoop]$ hdfs storagepolicies -getStoragePolicy -path /hdfs-test/data_phase/cold
The storage policy of /hdfs-test/data_phase/cold:
BlockStoragePolicy{COLD:2, storageTypes=[ARCHIVE], creationFallbacks=[], replicationFallbacks=[]}

6、上传文件验证存储策略

# 在任一台集群中的机器上执行命令
hdfs dfs -put /usr/local/tools/caskey /hdfs-test/data_phase/hot
hdfs dfs -put /usr/local/tools/caskey /hdfs-test/data_phase/warm
hdfs dfs -put /usr/local/tools/caskey /hdfs-test/data_phase/cold

# 具体执行命令
[alanchan@server1 sbin]$ hadoop fs -ls -R /hdfs-test/data_phase
drwxr-xr-x   - alanchan supergroup          0 2022-09-02 10:45 /hdfs-test/data_phase/cold
-rw-r--r--   3 alanchan supergroup       2204 2022-09-02 10:45 /hdfs-test/data_phase/cold/caskey
drwxr-xr-x   - alanchan supergroup          0 2022-09-02 10:45 /hdfs-test/data_phase/hot
-rw-r--r--   3 alanchan supergroup       2204 2022-09-02 10:45 /hdfs-test/data_phase/hot/caskey
drwxr-xr-x   - alanchan supergroup          0 2022-09-02 10:45 /hdfs-test/data_phase/warm
-rw-r--r--   3 alanchan supergroup       2204 2022-09-02 10:45 /hdfs-test/data_phase/warm/caskey

# 也可以通过web UI 上传测试文件

7、查看不同存储策略文件的block位置

# 查看热数据存储的datanode策略
hdfs fsck /hdfs-test/data_phase/hot/caskey -files -blocks -locations
[DatanodeInfoWithStorage[192.168.10.43:9866,DS-189c3394-2fba-40e2-ad24-1b57785ec4d5,DISK], 
DatanodeInfoWithStorage[192.168.10.44:9866,DS-97245afa-f1ec-4c50-93f8-0ba963e5f594,DISK], 
DatanodeInfoWithStorage[192.168.10.42:9866,DS-a551a688-b8f7-4b0c-b536-13032e26846f,DISK]]

# 查看温数据存储的datanode策略
hdfs fsck /hdfs-test/data_phase/warm/caskey -files -blocks -locations
[DatanodeInfoWithStorage[192.168.10.44:9866,DS-4b2f3768-6b77-4d2e-9cf5-00c6647613e1,ARCHIVE], 
DatanodeInfoWithStorage[192.168.10.43:9866,DS-5d9436ad-4b1a-4b0a-b4ee-989e4f76dbe5,ARCHIVE], 
DatanodeInfoWithStorage[192.168.10.42:9866,DS-a551a688-b8f7-4b0c-b536-13032e26846f,DISK]]

# 查看冷数据存储的datanode策略
hdfs fsck /hdfs-test/data_phase/cold/caskey -files -blocks -locations
[DatanodeInfoWithStorage[192.168.10.42:9866,DS-57f4c7be-2462-4bdb-a2a9-cc703bfd03e4,ARCHIVE], 
DatanodeInfoWithStorage[192.168.10.43:9866,DS-5d9436ad-4b1a-4b0a-b4ee-989e4f76dbe5,ARCHIVE], 
DatanodeInfoWithStorage[192.168.10.44:9866,DS-4b2f3768-6b77-4d2e-9cf5-00c6647613e1,ARCHIVE]]

8、更多信息参考下面内容

hdfs fsck /hdfs-test/data_phase/hot/caskey -files -blocks -locations
hdfs fsck /hdfs-test/data_phase/warm/caskey -files -blocks -locations
hdfs fsck /hdfs-test/data_phase/cold/caskey -files -blocks -locations

[alanchan@server1 sbin]$ hdfs fsck /hdfs-test/data_phase/hot/caskey -files -blocks -locations
Connecting to namenode via http://server1:9870/fsck?ugi=alanchan&files=1&blocks=1&locations=1&path=%2Fhdfs-test%2Fdata_phase%2Fhot%2Fcaskey
FSCK started by alanchan (auth:SIMPLE) from /192.168.10.41 for path /hdfs-test/data_phase/hot/caskey at Fri Sep 02 10:48:29 CST 2022

/hdfs-test/data_phase/hot/caskey 2204 bytes, replicated: replication=3, 1 block(s):  OK
0. BP-1903469242-192.168.10.41-1661487975430:blk_1073742710_1922 len=2204 Live_repl=3  [DatanodeInfoWithStorage[192.168.10.43:9866,DS-189c3394-2fba-40e2-ad24-1b57785ec4d5,DISK], DatanodeInfoWithStorage[192.168.10.44:9866,DS-97245afa-f1ec-4c50-93f8-0ba963e5f594,DISK], DatanodeInfoWithStorage[192.168.10.42:9866,DS-a551a688-b8f7-4b0c-b536-13032e26846f,DISK]]


Status: HEALTHY
 Number of data-nodes:  3
 Number of racks:               1
 Total dirs:                    0
 Total symlinks:                0

Replicated Blocks:
 Total size:    2204 B
 Total files:   1
 Total blocks (validated):      1 (avg. block size 2204 B)
 Minimally replicated blocks:   1 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.0
 Missing blocks:                0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)

Erasure Coded Block Groups:
 Total size:    0 B
 Total files:   0
 Total block groups (validated):        0
 Minimally erasure-coded block groups:  0
 Over-erasure-coded block groups:       0
 Under-erasure-coded block groups:      0
 Unsatisfactory placement block groups: 0
 Average block group size:      0.0
 Missing block groups:          0
 Corrupt block groups:          0
 Missing internal blocks:       0
FSCK ended at Fri Sep 02 10:48:29 CST 2022 in 4 milliseconds


The filesystem under path '/hdfs-test/data_phase/hot/caskey' is HEALTHY


[alanchan@server1 sbin]$ hdfs fsck /hdfs-test/data_phase/warm/caskey -files -blocks -locations
Connecting to namenode via http://server1:9870/fsck?ugi=alanchan&files=1&blocks=1&locations=1&path=%2Fhdfs-test%2Fdata_phase%2Fwarm%2Fcaskey
FSCK started by alanchan (auth:SIMPLE) from /192.168.10.41 for path /hdfs-test/data_phase/warm/caskey at Fri Sep 02 10:50:43 CST 2022

/hdfs-test/data_phase/warm/caskey 2204 bytes, replicated: replication=3, 1 block(s):  OK
0. BP-1903469242-192.168.10.41-1661487975430:blk_1073742711_1923 len=2204 Live_repl=3  [DatanodeInfoWithStorage[192.168.10.44:9866,DS-4b2f3768-6b77-4d2e-9cf5-00c6647613e1,ARCHIVE], DatanodeInfoWithStorage[192.168.10.43:9866,DS-5d9436ad-4b1a-4b0a-b4ee-989e4f76dbe5,ARCHIVE], DatanodeInfoWithStorage[192.168.10.42:9866,DS-a551a688-b8f7-4b0c-b536-13032e26846f,DISK]]


Status: HEALTHY
 Number of data-nodes:  3
 Number of racks:               1
 Total dirs:                    0
 Total symlinks:                0

Replicated Blocks:
 Total size:    2204 B
 Total files:   1
 Total blocks (validated):      1 (avg. block size 2204 B)
 Minimally replicated blocks:   1 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.0
 Missing blocks:                0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)

Erasure Coded Block Groups:
 Total size:    0 B
 Total files:   0
 Total block groups (validated):        0
 Minimally erasure-coded block groups:  0
 Over-erasure-coded block groups:       0
 Under-erasure-coded block groups:      0
 Unsatisfactory placement block groups: 0
 Average block group size:      0.0
 Missing block groups:          0
 Corrupt block groups:          0
 Missing internal blocks:       0
FSCK ended at Fri Sep 02 10:50:43 CST 2022 in 1 milliseconds


The filesystem under path '/hdfs-test/data_phase/warm/caskey' is HEALTHY


[alanchan@server1 sbin]$ hdfs fsck /hdfs-test/data_phase/cold/caskey -files -blocks -locations
Connecting to namenode via http://server1:9870/fsck?ugi=alanchan&files=1&blocks=1&locations=1&path=%2Fhdfs-test%2Fdata_phase%2Fcold%2Fcaskey
FSCK started by alanchan (auth:SIMPLE) from /192.168.10.41 for path /hdfs-test/data_phase/cold/caskey at Fri Sep 02 10:51:20 CST 2022

/hdfs-test/data_phase/cold/caskey 2204 bytes, replicated: replication=3, 1 block(s):  OK
0. BP-1903469242-192.168.10.41-1661487975430:blk_1073742712_1924 len=2204 Live_repl=3  [DatanodeInfoWithStorage[192.168.10.42:9866,DS-57f4c7be-2462-4bdb-a2a9-cc703bfd03e4,ARCHIVE], DatanodeInfoWithStorage[192.168.10.43:9866,DS-5d9436ad-4b1a-4b0a-b4ee-989e4f76dbe5,ARCHIVE], DatanodeInfoWithStorage[192.168.10.44:9866,DS-4b2f3768-6b77-4d2e-9cf5-00c6647613e1,ARCHIVE]]


Status: HEALTHY
 Number of data-nodes:  3
 Number of racks:               1
 Total dirs:                    0
 Total symlinks:                0

Replicated Blocks:
 Total size:    2204 B
 Total files:   1
 Total blocks (validated):      1 (avg. block size 2204 B)
 Minimally replicated blocks:   1 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     3.0
 Missing blocks:                0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)

Erasure Coded Block Groups:
 Total size:    0 B
 Total files:   0
 Total block groups (validated):        0
 Minimally erasure-coded block groups:  0
 Over-erasure-coded block groups:       0
 Under-erasure-coded block groups:      0
 Unsatisfactory placement block groups: 0
 Average block group size:      0.0
 Missing block groups:          0
 Corrupt block groups:          0
 Missing internal blocks:       0
FSCK ended at Fri Sep 02 10:51:20 CST 2022 in 1 milliseconds


The filesystem under path '/hdfs-test/data_phase/cold/caskey' is HEALTHY
一瓢一瓢的饮 alanchanchn
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hdfs存储策略
JavaMonsterr的博客
07-02 3019
在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节点,这么多块盘,HDFS在进行写操作时如何进行有效的磁盘选择呢HDFS目前的2套磁盘选择策略都是围绕着"数据均衡"的目标设计的：RoundRobinVolumeChoosingPolicy和AvailableSpaceVolumeChoosingPolicy名称可以拆成2个单词,RoundRobin和V
HDFS的数据存储
程序员野蛮成长
07-15 2966
HDFS内存存储是一种十分特殊的存储方式，将会对集群数据的读写带来不小的性能提升，而HDFS异构存储则能帮助我们更加合理地把数据存到应该存的地方。
hdfs冷热数据分层存储
weixin_33708432的博客
04-15 1125
hdfs如何让某些数据查询快，某些数据查询慢？ hdfs冷热数据分层存储 本质： 不同路径制定不同的存储策略。 hdfs存储策略 hdfs的存储策略 依赖于底层的存储介质。 hdfs支持的存储介质： ARCHIVE：高存储密度但耗电较少的存储介质，例如磁带，通常用来存储冷数据 DISK：磁盘介质，这是HDFS最早支持的存储介质 SSD：固态硬盘，是一种新型存储介质，目前被不少互联网公司使...
存储优化之冷热库规则
最新发布
qq_45840756的博客
08-06 389
冷热库规则通常用于数据存储和管理系统中，以优化数据访问性能和存储成本。
[hadoop3.x]HDFS存储策略和冷热温三阶段数据存储(六)概述
Maynor的博客
10-07 1556
目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
冷热数据
weixin_45246280的博客
04-06 617
长期运行的业务系统，数据越来越多，运行速度越来越慢。新增的数据，读和写都相对频繁，一般当前年度过了以后，基本上就很少Update了，只是偶尔访问。这种情况下，有必要考虑把数据分表或者分库存放，如果确定有的在某个时间点以后就不会Update了，则更有必要分。这样不仅是解决访问速度的问题，也解决了保护数据不被改写，还有就是备份的问题，就不用频繁备份不会变更的数据了。 ...
HDFS智能异构存储方案.pdf
05-16
HDFS通过异构存储管理提供了缓存、纠删码（Erasure Coding）和存储策略满足器（Storage Policy Satisfier）等机制来支持不同类型的数据存储，但如何在动态环境中定义和调整不同的存储策略依旧是巨大挑战。...
HDFS 存储系统中的存储策略与生命周期管理
本文将深入探讨HDFS存储系统中的存储策略与生命周期管理，帮助读者更深入了解HDFS的存储机制，并掌握最佳实践。 ### 2. 存储策略的重要性 存储策略是指在存储系统中，根据数据的特点和需求制定的一系列存储规则和...
HDFS 数据冷热分层
04-02 871
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件
05-29
22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件 网址：https://blog.csdn.net/chenwewi520feng/article/details/130456088 本文的前提是hadoop环境正常。 本文最好和MapReduce操作常见的文件文章一起阅读，因为写文件与压缩往往是结合在一起的。 相关压缩算法介绍参考文章：HDFS文件类型与压缩算法介绍。 本文介绍写文件时使用的压缩算法，包括：Gzip压缩、Snappy压缩和Lzo压缩。 本文分为3部分，即Gzip压缩文件的写与读、Snappy压缩文件的写与读和Lzo压缩文件的写与读。 ———————————————— 版权声明：本文为CSDN博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/chenwewi520feng/article/details/130456088
4.2 热储存与冷储存
09-12 7724
如我们所看到的，把比特币放在你的个人电脑里就像把钱放在钱包里带着，这叫“热储存”。这很方便但很不安全。而 另一方面，“冷储存”是离线的，把比特币锁在其他地方。冷储存不联入互联网，是封存起来的。所以相对安全和保险，但是很显然不方便。这就像你带着一些零钱 出去，但是把终生积蓄锁在保险箱里的道理一样。要分开热储存和冷储存，你也必须要用不同的私钥，否则如果热储存被人破坏了，冷储存也会处于危险之中。...
大数据培训Hadoop运维工具箱之HDFS异构存储介绍
zjjcchina的博客
07-27 160
dfs.datanode.max.locked.memory”参数值未设置或者设置过小（小于“dfs.block.size”参数值）时，则会写入客户端所在的DataNode节点的DISK磁盘，其余副本会写入其他节点的DISK磁盘。这里我们发现所有的文件块都是存储在DISK，按照理论一个副本存储在RAM_DISK，其他副本存储在DISK中，这是因为，我们还需要配置“异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。1、最开始我们未设置存储策略的情况下，我们获取该目录的存储策略。...
HDFS数据灾备
zxl115_aojiao的博客
09-21 3053
1.1  HDFS数据灾备 实现目的： A集群与B集群均正常工作，A集群上固定存储数据文件的文件夹，同步至B集群，每日在A集群上对数据文件的增加、修改、删除的操作，同步到B集群，使A集群与B集群保持同样的数据，当A集群因故障不可用时，可使用B集群上的备份数据。   实现原理 hadoop distcp命令可以实现不同集群之间相同版本和不同版本hadoop的数据同步及迁移。hadoop中有一个叫做d...
数据归档，冷热数据分离
weixin_30530939的博客
01-15 910
一.关于tokudb引擎 1.tokudb引擎特点 1.高压缩比，高写入性能 2.在线创建索引和字段 3.在线事务 4.支持索引同步 2.tokudb安装步骤 1.yum install jemalloc -y 2.vim /etc/my.cnf #添加如下 [mysqld_safe] malloc-lib=/usr/lib64/libjemalloc.so...
Hadoop的冷备、热备
TriumPhSk的博客
03-25 2257
冷备份： Hadoop1.X ：NameNode（主） SecondaryNameNode（从） 在Hadoop1.X中，SecondaryNameNode会按照时间阈值（比如24小时）或者edits日志大小阈值（比如1G），周期性的将fsimage和edits合并成新的fsimage并替换，然后将最新的fsimage推送给NameNode，减少 NameNode 启动时间； 非实时merge，一...
24、hadoop系列博客文章质量调查
alanchanchn的专栏
05-02 3126
1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java 4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置） 5、HDFS API的RESTful风格–WebHDFS 6、HDFS的HttpFS-代理服务 7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法 8、HD
20、MapReduce 工作流介绍
热门推荐
alanchanchn的专栏
05-01 5万+
多个MR作业，先后依次执行来计算得出最终结果。这类作业类似于DAG的任务，各个作业之间有依赖关系，比如说，这一个作业的输入，依赖上一个作业的输出等等。一般实际的业务场景中，可能使用定时调度工具进行调度，但本示例仅仅说明mapreduce自身也可以做到。JobControl类：工作流job控制器，一次可以提交、管理多个job。JobControl类实现了线程Runnable接口。需要实例化一个线程来让它启动。ControlledJob类：可以将普通作业包装成受控作业。并且支持设置依赖关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一瓢一瓢的饮 alanchanchn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值