hdfs的组成及作用

1.组成

client客户端
namenode
datanode
secondarynamenode

2.作用

client客户端：

(1)文件切分。文件上传HDFS的时候，Clien将文件切分成一 个个的Block,然后进行上传;
(2)与nameNode交互，获取文件的位置信息;
3)与DataNode交互，读取或者写入数据:
(4) Client提供一些命令来管理HDFS, 比如NameNode格式化;
(5) Client可以通过一些命今来访问HDFS,比如对HDFS增删查改操作;

namenode

(1)管理HDFS的名称空间;
(2)配置副本策略;
(3)管理数据块(Block)映射信息;
(4)处理客户端读写请求。

datanode

(1)存储实际的数据块;
(2)执行数据块的读写操作。

Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候， 它并不能马上替换NameNode并提供服务。

(1)辅助NameNode,分担其工作,比如定期合推fsaimag和Edit,并推送给NameNode ;
(2)在紧急情况下，可辅助恢复NameNode。

相关知识

1.机架感知：找文件时遵循就近原则。
2.冷备份：会间隔一段时间进行备份。热备份：时时备份
3.数据放在哪里由NameNode决定
4.一个数据块在DateNode是以文件的形式进行存储，包括两个文件：a.数据本身b.元数据 包括了数据块的长度，数据块的校验和，以及时间戳。
5.DateNode 启动后向NameNode进行注册，当注册通过后会周期性的向NameNode上报所有的块信息
6.安全模式：hdfs启动后会先启动NameNode，这个时候只有主节点没有从节点，但是元数据是存在的，我们可以看见文件列表，可以创建、删除、移动或者重命名文件，但是就是不可以修改文件的内容。
7.HDFS权限的目的：是阻止好人做坏事，而不是阻止坏人做坏事。
NameNode和DateNode 之间用的心跳都是RPC协议是TCP的上层，这样的协议会保证数据不丢失。而然Http协议特点就是使用快速方便，不等人。
8.HDFS是不允许大量小的文件进行存储，因为这样不仅占内存（日志量会变得巨大），又消耗block的内存空间，导致降低系统性能。