HDFS知识总结

HDFS知识总结

① 自动检测处理硬件错误；
② 流式访问数据；
③ 转移计算比移动数据更划算；
④ 简单一致性模型；
⑤ 异构平台的可移植性。

数据块

HDFS的文件被分成块进行储存；
HDFS块默认大小64MB；
块是文件存储处理的逻辑单元；

HDFS的两个节点:

NameNode： 运行在所有的master上，用来存放元数据，如文件名存储 、块的数量、副本的数量、位置块、块 ID 等，为了使用的可持续性，本地磁盘中还存放元数据副本，这种元数据放在内存中可更快速地检索数据，所以NameNode机器应该配置较高的内存。

1. 文件与数据块的映射表；
2. 数据块与数据节点的映射表。

DataNode ：是HDFS的工作节点，运行在所有的DataNode上，这些是存储数据的实际工作节点，存放数据块。

HDFS常用命令

1. 查看hdfs系统版本

hdfs version

2. 查看hdfs系统状态

hdfs dfsadmin -report

3. 查看目录及文件

hadoop fs -ls /

4. 创建及删除目录

hadoop fs -mkdir /input
hadoop fs -rm /input

5. 上传及下载文件

hadoop fs -put <本地文件> <远端目录>
hadoop fs -get <远端文件>

6. 查看文件内容

hadoop fs -cat /input/test.txt