hmyqwe的博客

HDFS 读数据流程（1）客户端通过 DistributedFileSystem 向NameNode 请求下载文件，NameNode 通过查询元数据，找到文件块所在的 DataNode 地址；（2）挑选一台 DataNode（就近原则，然后随机）服务器，请求读取数据；（3）DataNode 开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet 为单位来做校验）；（4）客户端以 Packet 为单位接收，先在本地缓存，然后写入目标文件；HDFS 写数据流程（1）客户端通过 Distri.

定义HDFS(Hadoop Destributed File System)是一个分布式的文件系统，用于存储文件，通过目录树来定位文件使用场景适合一次写入，多次读取的场景，不支持文件的修改优缺点优点高容错性数据自动保存多个副本。它通过增加副本的形式提高容错性某一个副本丢失后，它可以自动恢复适合处理大数据数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据文件规模：能够处理百万规模以上的文件数量可构建在廉价机器上，通过多副本机制，提高可靠性缺点不适合低延时数据