由于hbase是基于hadoop hdfs文件系统之上的，其持久化都是通过调用hdfs的client api达到的，所有hdfs的很多配置参数对hbase的性能影响也是很大的。今天主要说下其中的一个“dfs.datanode.max.xcievers”，注意在hadoop2.6版本这个已经改名了。
现在这个值默认是4096，已经能满足大部分情况了。不能配置太大，因为每个也是需要占用内存空间的，默认可能1MB左右，同时很多线程也会导致CPU负载的急剧增加，影响整体性能。
那么到底配置多大合适呢？
大数据技术-HBase：优化hadoop Xceivers
最新推荐文章于 2024-04-27 01:34:31 发布
本文探讨了HBase基于Hadoop HDFS的特性，重点关注配置参数`dfs.datanode.max.xcievers`对性能的影响。默认值4096通常足够，但过大可能导致内存和CPU资源紧张。全表扫描会触及理论上限，计算最大线程数需考虑storefiles、regions和regionservers，并留有20%的余量。同时，确保调整最大sockets数量以避免其他问题。
最低0.47元/天 解锁文章
227
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
