HDFS，NameNode架构

 

2020年10月1日

09:14

 

HDFS架构

基本架构

• NameNode
  • 管理命名空间
  • 配置副本策略
  • 管理数据块，读写请求
• DataNode
  • 只负责数据块存取
• Client
  • 文件切分
  • 发送请求

优缺点：

• 不适合低延迟数据访问，不适合小文件，只能追加不适合修改
• 可以构建在大量廉价机器上，多副本机制，自动恢复

基本命令

使用hadoop fs -put 　 ./readme.txt，类似的形式，基本就是普通命令加上hadoop fs

本地->HDFS：

• put,  copyFromLocal
• moveFrmLocal
• appendToFile

HDFS->HDFS:

• cp，mv，du，df，cat，rm，chown，mkdir

HDFS->本地：

• get，copyToLocal，复制
• getmerge，获得多个文件，合并