大数据_HDFS_学习记录

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

HDFS（Hadoop Distribute File System）是大数据领域一种非常可靠的存储系统，它以分布式方式存储超大数据量文件，但它并不适合存储大量的小数据量文件。

一、HDFS体系结构

一个HDFS集群由一个主节点（namenode）和多个从节点（datanode）组成 。
datanode会周期性的发送“心跳”，报告自己还活着，如果没有按时发送，namenode会认为它宕机了，不会再分配给它I/O请求。

HDFS原理讲解

二、HDFS读写数据操作

1.读数据

1、客户端向namenode发送需要的文件信息
2、namenode查询列表，找出datanode中相应文件的位置
3、选择较近的数据进行操作读取数据。

2.写数据

1、告诉namenode需要写入数据
2、（1）设置数据分块大小（68MB或者128MB）。（2）设置备份数量

3.故障及故障解决

1、节点故障：namenode故障，整个集群就会挂掉。datanode故障，datanode节点上的数据就会挂掉。
2、通讯故障：主从节点通讯故障，从节点发送心跳，证明通讯正常。