dfs.datanode.data.dir(2.x)/dfs.data.dir(1.x)的作用

最新推荐文章于 2024-04-26 11:27:46 发布

原创最新推荐文章于 2024-04-26 11:27:46 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文详细解析了DFS数据节点的存储配置参数，阐述了如何指定本地文件系统中用于存储DFS块的位置，包括多个目录的使用及不同存储类型(SSD、DISK、ARCHIVE、RAM_DISK)的标记方法，确保数据高效分布。

从官网找到这么一段

Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. The directories should be tagged with corresponding storage types ([SSD]/[DISK]/[ARCHIVE]/[RAM_DISK]) for HDFS storage policies. The default storage type will be DISK if the directory does not have a storage type tagged explicitly. Directories that do not exist will be created if local filesystem permission allows.

大意：用来指示DFS在哪里存放它的blocks，如果指定了多个目录，数据就会存放到这些目录中。如果目录不存在，就会被创建，前提是有权限。