【HDFS】DataTransferProtocol#transferBlock

最新推荐文章于 2024-01-12 21:43:13 发布

叹了口丶气

最新推荐文章于 2024-01-12 21:43:13 发布

阅读量127

点赞数

分类专栏： HDFS全方位实战文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/yexiguafu/article/details/132385875

版权

HDFS全方位实战专栏收录该内容

171 篇文章 150 订阅 ¥29.90 ¥99.00

订阅专栏

本文探讨HDFS中DataTransferProtocol的transferBlock方法，该方法用于将数据块从一个DataNode传输到另一个DataNode，常在pipeline恢复过程中补充新节点。DataXceiver的transferBlock实际调用transferReplicaForPipelineRecovery执行复制，并依赖writeBlock来写入数据。此外，还提及了配置参数dfs.datanode.max.transfer.threads对传输线程数的影响。

摘要由CSDN通过智能技术生成

DataTransferProtocol协议里定义的transferBlock方法主要作用就是用来传入一个block到另一个datanode上。
其使用场景基本上就是客户端写pipeline时，如果遇到datanode失败，做pipeline恢复，如果满足向pipeline里补充新datanode的条件，
则要把数据传输到这个新datanode上。

  /**
   * Transfer a block to another datanode.
   * The block stage must be
   * either {@link BlockConstructionStage#TRANSFER_RBW}
   * or {@link BlockConstructionStage#TRANSFER_FINALIZED}.
   *
   * @param blk the block being transferred.
   * @param blockToken security token for accessing the block.
   * @param clientName client's name.
   * @param targets target datanodes.
   * @param targetStorageIDs StorageID designating where to write the
   *

了解本专栏