提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
HDFS(Hadoop Distribute File System)是大数据领域一种非常可靠的存储系统,它以分布式方式存储超大数据量文件,但它并不适合存储大量的小数据量文件。
一、HDFS体系结构
一个HDFS集群由一个主节点(namenode)和多个从节点(datanode)组成 。
datanode会周期性的发送“心跳”,报告自己还活着,如果没有按时发送,namenode会认为它宕机了,不会再分配给它I/O请求。
HDFS原理讲解
二、HDFS读写数据操作
1.读数据
1、客户端向namenode发送需要的文件信息
2、namenode查询列表,找出datanode中相应文件的位置
3、选择较近的数据进行操作读取数据。
2.写数据
1、告诉namenode需要写入数据
2、(1)设置数据分块大小(68MB或者128MB)。(2)设置备份数量
3.故障及故障解决
1、节点故障:namenode故障,整个集群就会挂掉。datanode故障,datanode节点上的数据就会挂掉。
2、通讯故障:主从节点通讯故障,从节点发送心跳,证明通讯正常。