![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hdfs
玩玩大数据
这个作者很懒,什么都没留下…
展开
-
HDFS读写理解
几个概念 block 一般设为128m,hdfs是按块存储的 packet packet是第二大的单位,它是client端向datanode,或者 datanode之间传输数据的基本单位,默认是 64k chunk chunk是最小的单位,它是client向DataNode,或DataNode的PipLine之间进行数据校验的基本单位,默认512Byte,因为用作校验,故每个chunk...原创 2019-07-23 17:57:58 · 263 阅读 · 0 评论 -
HDFS四大机制
目录 1 心跳机制 2 安全模式 3 机架策略 4 负载均衡 负载均衡算法:一共有七步 阈值管理 负载均衡操作 1 心跳机制 hdfs启动之前,要做集群的时间同步 datanode每三秒向namenode发送心跳包,可配置,在hdfs-default.xml中配置,heartbeat.interval namenode如果有10次没有收到心跳包,就发起检查,一次检查5分钟...原创 2019-07-23 09:09:32 · 253 阅读 · 0 评论