性能提升100倍！基于Hadoop的TB级大文件上传优化实践！

V-xin：ruyuanhadeng获得600+页原创精品文章汇总PDF

目录
一、写在前面
二、原始的文件上传方案
三、HDFS对大文件上传的性能优化
​ （1）Chunk缓冲机制
​ （2）Packet数据包机制
​ （3）内存队列异步发送机制
四、总结

---

一、写在前面

上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。

主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。

如果没看那篇文章的同学，可以回看一下：《每秒上千次高并发访问，HDFS优雅的抗住了》。

这篇文章，我们来看看，Hadoop的HDFS分布式文件系统的文件上传的性能优化。

首先，我们还是通过一张图来回顾一下文件上传的大概的原理。

由上图所示，文件上传的原理，其实说出来也简单。

比如有个TB级的大文件，太大了，HDFS客户端会给拆成很多block，一个block就是128MB。