![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
北北carrie
永远不怕出现bug的小白一枚!
展开
-
HDFS写数据的流程
~~因为数据以管道的方式,顺序的沿着一个方向进行传输,这样能够充分利用每个机器的带宽,避免网络瓶颈和高延迟的连接,最小化推送所有数据的延时。~~~其次,在线性推送模式之下,每台机器所有的出口宽带都用于以最快的方式传输数据,,而不是多个接受者之间分配宽带。~~~ack是确认字符,数据通信中接收方给发送方的一种传输类控制字符,表示发来的数据已确认接收无误。~~~在pipeline管道传输过程中,传输的反方向会进行ACK校验,确保数据传输安全。1.Pipeline管道。原创 2023-02-24 14:54:25 · 80 阅读 · 0 评论 -
HDFS读数据的流程
1. 首先客户端会通过Distributed FileSysytem 向NameNode发送下载文件的请求,NameNode会做两件事,其一会校验这个客户端请求的合法性,也就是说会确认请求读取的文件是否存在,其二会判断是否有读的权限,如果没有读数据的权限肯定是不能下载的. 如果NameNode判断请求是合法的以及有读取数据的权限,就会返回查询元数据的结果。5.等待到客户端将所有的数据块下载结束之后,会将所有的数据在本地排序并且拼接位一个新文件。原创 2023-02-23 16:12:59 · 219 阅读 · 0 评论