1.大数据体系
2.HDFS
2.1 基本概念
(1)NameNode(nn):存储文件的元数据(比如文件名,文件路径,文件权限)以及块列表以及块所在的DataNode等。
也就是说通过nn可以准确定位数据在哪存储,相当于目录。
(2)DataNode(dn):存储块数据,以及块数据的校验和。
也就是数据存储的地方。
(3)SencondaryNameNode(2nn):每隔一段时间对NameNode元数据进行备份。
对"目录"进行备份,当nn数据丢失以后,可以恢复过来.相当于nn的助手
2.2 HDFS的上传机制
其中client的作用就是切分数据为block,同时确定要存几个副本
2.检查目录:查看客户上传的文件所在路径是否存在
5.查询DataNode信息:一是查看DataNode是否处于活跃状态,二是查看哪个DataNode上面的空间是足够的。