HDFS 读数据原理

 

概述

客户端将要读取的文件路径发送给namenode，namenode获取文件的元信息（主要是block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件

 

 

1. 客户端调用 create 方法，创建一个新的文件；NameNode 会做各种校验，比如文件是否已经存在，客户端是否有权限等。
2. 如果校验通过，客户端开始写数据到 DN(DataNode)，文件会按照 block 大小进行切块，默认 128M（可配置），DataNode 构成 pipeline 管道，client 端向输出流对象中写数据，传输的时候是以比 block 更小的 packet 为单位进行传输，packet 又可拆分为多个 chunk，每个 chunk 都携带校验信息。
3. 每个 DataNode 写完一个块后，才会返回确认信息，并不是每个 packet 写成功就返回一次确认。
4. 写完数据，关闭文件。

 

 

HDFS 文件操作命令有哪些？

和 Linux 操作文件类似，只列出常见几个，和 Linux 命令的功能也是类似的，如：cp 即拷贝，rm 即删除等等。

#hadoop fs [cat|chgrp|chmod|chown|count|cp|df|get|ls|put|mv|rm|mkdir|tail]

在 HDFS 中，提供了 fsck 命令，用于检查 HDFS 上文件和目录的健康状态、获取文件的 block 块信息和位置信息等。

#hdfs fsck [move|delete|files|blocks|locations|racks|blockId]