6HDFS的读写流程及多线程写问题

1、HDFS之block package chunk

了解hdfs的读写流程，首先要了解block、package、chunk的概念。

• 1、block
  这个大家应该知道，文件上传前需要分块，这个块就是block，一般为128MB，当然你可以去改，不顾不推荐。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一个单位。
• 2、package
  packet是第二大的单位，它是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。
• 3、chunk
  chunk是最小的单位，它是client向DataNode，或DataNode的PipLine之间进行数据校验的基本单位，默认512Byte，因为用作校验，故每个chunk需要带有4Byte的校验位。所以实际每个chunk写入packet的大小为516Byte。

2、HDFS的写流程

• 1、使用HDFS提供的客户端Client，向远程的Namenode发起RPC请求<