【Hive-优化】Hive的优化方式一（通过ClouderaManager进行参数优化）

1）HDFS副本数

dfs.replication（HDFS）

文件副本数通常情况下为3，不推荐修改，如果测试环境只有两台虚拟机，那么此处要修改为2。

2）Yarn基础配置

2.1.nodemanager配置

2.1.1.CPU配置

yarn.nodemanager.resource.cpu-vcores

1. 表示该节点服务器上yarn可以使用的虚拟CPU个数，默认值是8，推荐将值配置与物理CPU线程数相同，如果节点CPU核心不足8个，要调小这个值，yarn不会智能的去检测物理核心数。
2. 如何查看当前物理CPU线程数: grep ‘processor’ /proc/cpuinfo | sort -u | wc -l

2.1.2.内存配置

yarn.nodemanager.resource.memory-mb

1. 一般nodemanager节点上的容器内存按照剩余内存的百分之八十来分配,因为要预留出百分之二十左右的内存。
2. 例如:一共有64G 剩余50G。那么就分配50*0.8=40G 可以通过CM来查看剩余多少内存

2.1.3. 本地目录

yarn.nodemanager.local-dirs（Yarn）

1. NodeManager 存储中间数据文件的本地文件系统中的目录列表。
2. 如果单台服务器上有多个磁盘挂载，则配置的值应当是分布在各个磁盘上目录，这样可以充分利用节点的IO读写能力。

2.2.MapReduce内存配置

当MR内存溢出时，可以根据服务器配置进行调整。

mapreduce.map.memory.mb

为作业的每个 Map 任务分配的物理内存量(MiB)，默认为0，自动判断大小。

mapreduce.reduce.memory.mb

为作业的每个 Reduce 任务分配的物理内存量(MiB)，默认为0，自动判断大小。

mapreduce.map.java.opts、mapreduce.reduce.java.opts

Map和Reduce的JVM配置选项。

注意：

1. mapreduce.map.java.opts一定要小于mapreduce.map.memory.mb；
2. mapreduce.reduce.java.opts一定要小于mapreduce.reduce.memory.mb
3. 格式-X