9_HDFS的存储策略

2020/12/17 sunhaiqi@bonc.com.cn

HDFS的存储策略

一、存储类型

​ HDFS支持如下四种存储类型：

1.1、DISK

​ 普通磁盘(机械硬盘)

1.2、SSD

​ 固态硬盘

1.3、RAM_DISK

​ 内存磁盘，虚拟内存盘（内存）

1.4、ARCHIVE

​ 这个并不是特指某种存储介质，而是为了满足高密度存储而定义的一种存储类型，一般读与归档的、访问不怎么频繁的数据可以以ARCHIVE的形式存储。

存储速度：RAM_DISK>SSD>DISK>ARCHIVE
单bit存储成本：RAM_DISK>SSD>DISK>ARCHIVE

​ 在配置DataNode的存储路径的时候，我们可以分别为四种存储类型配置存储位置

<property>
    <name>dfs.datanode.data.dir</name>
    <value>[RAM_DISK]file:///ram_disk,[SSD]file:///ssd1/dn,[DISK]file:///disk1/dn,[ARCHIVE]file:///archive1/dn</value>
    <description>DataNode存放数据的地方</description>
</property>
配置的DataNode的多个存储位置由逗号隔开，每一个存储位置由存储类型和存储物理路径组成。HDFS通过该配置感知底层存储的位置和类型

二、存储策略

​ 在master机器上执行以下命令来查看HDFS支持的存储策略

hdfs storagepolices -listPolicies
Block Storage Policies:
	BlockStoragePolicy{
   COLD:2, storageTypes=[ARCHIVE], creationFallbacks=[], replicationFallbacks=[]}
    BlockStoragePolicy{
   WARM:5, storageTypes=[DISK, ARCHIVE], creationFallbacks=[DISK, ARCHIVE], replicationFallbacks=[DISK, ARCHIVE]