Hadoop NameNode如何承载每秒上千次的高并发访问
目录一、问题源起二、HDFS优雅的解决方案(1)分段加锁机制+内存双缓冲机制(2)多线程并发吞吐量的百倍优化(3)缓冲数据批量刷磁盘+网络的优化四、总结一、问题源起我们先来分析一下,高并发请求NameNode会遇到什么样的问题。大家现在都知道了,每次请求NameNode修改一条元数据(比如说申请上传一个文件,那么就需要在内存目录树中加入一个文件),都要写一条edits log,包括两个步骤: 写入本地磁盘。 通过网络传输给JournalNodes集...
复制链接