-
在 hdfs-site.xml 文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群;
-
Namenode 有一个工作线程池,用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作
dfs.namenode.handler.count=20*log2(cluster size)
比如集群规模为10台,此参数设置为60
-
编辑日志存储路径 dfs.namenode.edits.dir 设置与镜像文件存储路径 dfs.namenode.name,dir 尽量分开,达到最低写入延误;
-
服务器节点上 YARN 可使用的物理内存总量,默认是 8192MB。注意,如果你的节点内存资源不够8GB,则需要调减少这个值,而 YARN 不会智能的探测节点的物理内存总量;yarn.nodemanager.resource.memory-mb
-
单个任务可申请的最多物理内存量,默认是 8192MB。yarn.scheduler.maximum-allocation-mb
了解哪些Hadoop的参数优化
最新推荐文章于 2023-02-09 19:32:33 发布