HBase&HDFS异构存储的使用&简单介绍_rawlocalfilesystem doesn't support setstoragepolic-CSDN博客

本文链接：https://blog.csdn.net/bryce123phy/article/details/70388664

本文介绍了HDFS的异构存储策略，包括开启策略、配置数据目录、不同类型的storage policy如All_SSD、ONE_SSD、Lazy_Persist等。还详细讲述了如何通过hdfs命令设置和获取存储策略，并解释了HBase如何利用这些策略，特别是WAL存储在SSD上的配置方法。

摘要由CSDN通过智能技术生成

使用方式：

首先，开启hdfs异构存储策略，配置项是——dfs.storage.policy.enabled，该配置默认是开启的（true）；

第二步，需要将机器物理硬件上已经部署好的磁盘配置添加到hdfs的配置项dfs.datanode.data.dir中，需要注意的对于SSD盘或者RAM_DISK需要打上特殊的标记，类似[SSD]、[RAM_DISK]，配置示例如下：

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///home/data/data/hadoop/dfs/data/data1,file:///home/data/data/hadoop/dfs/data/data2,file:///home/data/data/hadoop/dfs/data/data3,file:///home/data/data/hadoop/dfs/data/data4,file:///home/data/data/hadoop/dfs/data/data5,file:///home/data/data/hadoop/dfs/data/data6,file:///home/data/data/hadoop/dfs/data/data7,file:///home/data/data/hadoop/dfs/data/data8,file:///home/data/data/hadoop/dfs/data/data9,file:///home/data/data/hadoop/dfs/data/data10,file:///home/data/data/hadoop/dfs/data/data11,file:///home/data/data/hadoop/dfs/data/data12,[SSD]file:///home/data/data/hadoop/dfs/data/data13</value>
        <final>true</final>
</property>

上述配置所在的节点上共有13块盘，不同的硬盘挂载到不同的目录中，其中的第十三块盘是SSD盘，所以被标记为[SSD]，如果不加此标记，则HDFS默认所有的盘都是[DISK]。

第三步，指定我们的目标目录存储到SSD盘上。

Hdfs的异构存储是受storage policy控制的，hdfs中共定义了5种不同的storage policy，列表如下：

Policy ID

Policy Name

Block Placement (n replicas)

Fallback storages for creation

Fallback storages for replication