Hadoop调优的几个参数

最新推荐文章于 2024-11-08 09:14:09 发布

「已注销」

最新推荐文章于 2024-11-08 09:14:09 发布

阅读量145

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/weixin_46293354/article/details/107945084

版权

                    
                    HDFS：hdfs-site.xml中的dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为 8 台时，此参数设置为 60，该参数决定有多少线程数用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作
Yarn：yarn-site.xml 中的yarn.nodemanager.resource.memory-mb，该参数决定yarn能使用的最大物理内存总量，默认是 8192（MB），yarn不会检测物理机内存大小，需要手动指定。yarn.scheduler.maximum-allocation-mb是单个任务申请的最大物理内存，默认是 8192（MB）
 该参数面临问题：数据统计主要用 HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的 JVM 重用，而且 IO 没有阻塞，内存用了不到 50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉，很明显是内存利用率不够