Hadoop博文
-无妄-
本人主要记录的是学习笔记和其他参考,持续学习中。。。
展开
-
一文理解 Apache Hadoop 机架感知
背景 分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoop集群,由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储,每个block会有...转载 2018-10-30 16:22:24 · 145 阅读 · 0 评论 -
Hadoop HDFS 架构学习总结
文章目录HDFS 1.0 架构NameNodeSecondary NameNodeDataNode文件写入过程文件读取过程HDFS 1.0 的问题HDFS 2.0 的 HA 实现FailoverController自动触发主备选举HDFS 脑裂问题第三方存储(共享存储)HDFS 2.0 Federation 实现Federation 架构Federation 的核心设计思想 转载自 https:/...转载 2018-11-19 14:19:05 · 420 阅读 · 0 评论