hadoop1.x默认数据队列是以64M为单位 hadoop2.x默认数据队列是以128M为单位 Pipeline 会以更小的包(缓冲区) 会反馈回给上一个DataNode 传输过去 写流程 1、HDFS client 会请求NameNode 检查(检查请求路径 文件等)通过后 返回上传的第一个节点 2、客户端 根据返回的第一个节点 会根据第一个节点建立管道连接 第一个节点跟第二个节点建立管道连接 第二个节点跟第三个节点建立管道连接 3、一个文件 会切成128M的块 这个块会以更小的包(缓冲区) 通过Pipeline传入第一个节点 第一个节点同时传入到第二个节点 第二个节点同时传入到第三个节点 4、传入的同时 并且会按时发送心跳 如果有一个节点挂了 会 马上传到另外一个节点上 会告诉第一个节点另外一个传到另外一个 充分利用了时间线的重叠 读流程 — 距离优先 1、HDFS client 会请求NameNode 检查(检查请求路径 文件等)通过后 返回一部分Block副本位置列表 包括距离概念 2、线性和DN获取Block,最终合并为一个文件 3、在Block副本列表中按距离择优选取