HDFS
QianL.
这个作者很懒,什么都没留下…
展开
-
HDFS中四个核心的设计
HDFS四个核心的设计包括:心跳机制,安全模式,副本存放策略,负载均衡。 心跳机制: Hadoop是Master/Slave结构的,Master和Slave之间就是通过心跳机制进行通信的。 具体流程:Master启动时会启动一个IPC Server等待Slave的连接。当Slave启动的时候,会自动连接IPC Server,并且以3秒(默认)为间隔向Master通讯一次。 DataNode(即Sl...原创 2019-03-26 22:11:33 · 391 阅读 · 1 评论 -
HDFS集群的基础知识总结
简介 HDFS是一个分布式文件系统,通过统一的命名空间——目录树来定位文件,由很多的服务器联合起来实现分布式的功能,主要来解决海量数据的存储问题。在大数据系统结构中就是为分布式运算框架提供数据存储服务的。 主要设计思想:“分而治之,冗余备份”。将大文件被切割成小文件,使用分而治之的思想让很多服务器对同一个文件进行联合管理;再者,将每一个小文件做冗余备份并且分散存储到不同的服务器中,做到高可靠不丢失...原创 2019-04-24 15:34:30 · 487 阅读 · 0 评论