- 博客(6)
- 收藏
- 关注
RSS订阅
1原创 Yarn参数调优
数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。解决办法NodeManager内存和服务器实际内存配置尽量接近，如服务器有128g内存，但是NodeManager默认内存8G，不修改该参数最多只能用8G内存。NodeManager使用的CPU核数和服务器CPU核数尽量接近。①yarn.nodemanager.resource.memo
2022-07-05 17:21:00
229
原创 Hadoop参数调优
Namenode有一个工作线程池用来处理Datanode的并发心跳及客户端的并发元数据操作调节hdfs-site.xml中dfs.namenode.handler.count的参数，默认值10。
2022-07-05 17:18:47
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人