HDFS
看得出的就是
种一棵树最好的时间是十年前,其次是现在!
不要给自己设限!
做自己!
展开
-
HDFS 副本存放磁盘选择策略
转载自过往记忆(https://www.iteblog.com/)本文链接:【HDFS 副本存放磁盘选择策略】(https://www.iteblog.com/archives/2341.html)在HDFS中,DataNode 将数据块存储到本地文件系统目录中,具体的目录可以通过配置hdfs-site.xml里面的dfs.datanode.data.dir参数。在典型的安装配...转载 2019-03-05 22:42:11 · 416 阅读 · 0 评论 -
HDFS 3.x 纠删码介绍
本文主要内容翻译自:https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSErasureCoding.html个人添加了几个命令的示例。目录目标背景架构部署集群和硬件配置配置项使用 Intel ISA-L管理命令限制目标复制成本高昂——HDFS中的默认3x复制方案在存...翻译 2019-05-08 22:27:38 · 3539 阅读 · 0 评论 -
HDFS 集中式缓存管理
参考:https://www.cnblogs.com/zhangningbo/p/4146398.htmlhttp://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/CentralizedCacheManagement.htmlhttps://blog.csdn.net/androidlushangderen/ar...原创 2019-07-28 23:11:01 · 779 阅读 · 0 评论 -
HDFS 内存存储支持——LAZY_PERSIST存储策略
参考:https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/MemoryStorage.htmlhttps://blog.csdn.net/androidlushangderen/article/details/51514216目录介绍配置存储副本的内存限制在DataNode上配置使用RAM d...原创 2019-07-28 23:34:20 · 1346 阅读 · 0 评论 -
HDFS 异构存储
参考:https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/ArchivalStorage.htmlhttps://blog.csdn.net/androidlushangderen/article/details/51105876目录介绍存储类型和存储策略存储类型:ARCHIVE,DISK,SS...原创 2019-07-29 22:52:25 · 835 阅读 · 0 评论 -
HDFS editlog文件解析与反解析
本文主要内容翻译自:https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html个人添加了几个命令的示例。目录概述使用命令使用说明XML processorbinary processorState processor案例学习:hadoop集群恢复...翻译 2019-07-25 22:47:12 · 1535 阅读 · 0 评论 -
HDFS fsimage文件解析与反解析
参考:http://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.htmlhttps://blog.csdn.net/androidlushangderen/article/details/50937069目录概述使用命令使用说明XMl ProcessorFileDis...原创 2019-07-25 23:10:36 · 2597 阅读 · 0 评论 -
HDFS DataNode扫描机制及相关参数
目录HDFS中的BlockBlock Scanner & Volume ScannerDirectory ScannersDisk Checker配置整理 众所周知,HDFS中数据都是保存在DataNode中,通过复制相同的数据到多个DN中,HDFS可以容忍DN的失败。但如果某些DN的磁盘出现故障,会怎么样呢?本文解释了DN上的一些后台任务是如何工作的,以帮助HDFS跨多...原创 2019-09-20 23:40:33 · 2955 阅读 · 1 评论