针对大数据量的系统(如hdfs的文件契约的续约扫描等)怎么优化一个系统扫描所有的客户端实例的租约信息
1、概要
这篇文章,给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时,如何进行性能优化?
2、背景引入
先引入一个小的背景,假如多个客户端同时要并发的写Hadoop HDFS上的一个文件,这个事儿能成吗?
明显不可以接受啊,因为HDFS上的文件是不允许并发写的,比如并发的追加一些数据什么。
所以HDFS里有一个机制,叫做文件契约机制。
也就是说,同一时间只能有一个客户端获取NameNode...
原创
2019-09-12 11:13:16 ·
265 阅读 ·
0 评论