CDH参数优化

最新推荐文章于 2024-05-05 15:14:00 发布

大数据侠客

最新推荐文章于 2024-05-05 15:14:00 发布

阅读量50

点赞数

分类专栏： CDH相关文章标签： hive

本文链接：https://blog.csdn.net/weixin_41367158/article/details/136391249

版权

CDH相关专栏收录该内容

10 篇文章 1 订阅

订阅专栏

本文介绍了如何在CDH环境下将Hive的计算引擎改为Spark，以及针对YARN进行内存和CPU资源的优化，包括配置Hive-site.xml和Yarn的相关参数，以提高大数据处理效率。

摘要由CSDN通过智能技术生成

一、hive优化

1、hive计算引擎修改为spark

  ①在CDH的hive中搜索配置参数：hive.execution.engine

在这里插入图片描述

 ②.第一步仅仅是修改的jdbc，也就是beeline远程连接时候还为mr，还需修改hive-site.xml , 在hive-site.xml 的 Hive 客户端高级配置代码段（安全阀） 和 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀） 新增配置或者修改配置

     hive.execution.engine=spark

注：hive客户端和HiveServer2均需配置

在这里插入图片描述

二、yarn优化

1.相应的集群配置环境
cpu 88核内存250G
2.yarn 内存配置
#表示该nodemanager节点上YARN可使用的物理内存总量（给150G）

yarn.nodemanager.resource.memory-mb
#container内存范围的最小值（给2G）
yarn.scheduler.minimum-allocation-mb
#container内存范围的最大值（给150G 可与nodemanager内存总量相同）
yarn.scheduler.maximum-allocation-mb
#MR ApplicationMaster占用的内存量 （给10G 因为spark程序运行时ApplicationMaster可能会多 ）
yarn.app.mapreduce.am.resource.mb

3.yarn cpu内核配置

#该节点上YARN可使用的虚拟CPU个数与物理CPU核数数目相同 (可取88 )
yarn.nodemanager.resource.cpu-vcores
#单个任务可申请的最小虚拟CPU个数 (如：可取1 )
yarn.scheduler.minimum-allocation-vcores
#单个任务可申请的最大虚拟CPU个数 (如：可取88 )
yarn.scheduler.maximum-allocation-vcores
#ApplicationMaster 虚拟 CPU 内核（如：可取 20 因为spark程序运行时ApplicationMaster可能会多 ）
yarn.app.mapreduce.am.resource.cpu-vcores