本文详细介绍了HDFS（Hadoop Distributed File System）的数据写入过程，包括客户端与NameNode交互确认文件路径及上传权限，NameNode指定DataNode形成数据传输Pipeline，以及数据包（Packet）在DataNode之间的传输步骤。理解这一流程对于掌握HDFS的工作原理至关重要。
HDFS写数据流程
Namelode：是HDFS中负责namespace管理的节点，保存集群中所储存的所有文件的元数据信息
Datanode：是一个在HDFS实例中单独机上运行的一个节点；
packet：数据包
1.向namelode请求上传文件，namenode检查目录文件上传途径是否存在，文件是否存在；
2.nomenode做出应答（是否可以上传）；
3.客户端切分文件，请求上传第一个block；
4.namenode返回dn（datanode）1、dn2、dn3，让用户上传数据；
5.客户端请求dn1上传数据（建立pipeline），电脑收到后发送给dn2，dn2再发送给dn3，建立完成pipeline，再依次返回客户端；
6.b开始传输block1（以pocket为单位）dn1-dn2-dn3依次；
扫一扫
92
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
