hive 内存溢出 hive设置内存大小

Hive 调优指南
Apache Hive 是一个基于 Hadoop 的数据仓库解决方案，用于查询和分析大量的结构化数据。为了提高 Hive 查询性能和效率，本文将介绍一些 Hive 调优的策略和方法。

1. 内存和资源配置

1.1 调整内存分配

为了提高查询性能，可以调整 MapReduce 任务的内存分配。在 hive-site.xml 配置文件中，设置以下参数：

<!-- 设置 Map 任务的 Java 堆大小 -->
<property>
  <name>mapreduce.map.memory.mb</name>
  <value>2048</value>
</property>

<!-- 设置 Reduce 任务的 Java 堆大小 -->
<property>
  <name>mapreduce.reduce.memory.mb</name>
  <value>4096</value>
</property>

1.2 调整任务并行度

通过调整 MapReduce 任务的并行度，可以提高 Hive 查询的处理能力。在 hive-site.xml 配置文件中，设置以下参数：

<!-- 设置 Map 任务的最大并行度 -->
<property>
  <name>mapreduce.job.maps</name>
  <value>100</value>
</property>

<!-- 设置 Reduce 任务的最大并行度 -->
<property>
  <name>mapreduce.job.reduces</name>
  <value>50</value>
</property>

2. 查询优化

2.1 使用 Tez 引擎

将 Hive 的执行引擎从默认的 MapReduce 切换到 Tez 可以显著提高查询性能。在hive-site.xml 配置文件中，设置以下参数：

<property>
  <name>hive.execution.engine</name>
  <value>tez</value>
</property>

2.2 启用压缩

启用压缩可以减少 Hive 查询时的磁盘 I/O 和网络传输，从而提高查询性能。在hive-site.xml 配置文件中，设置以下参数：

<!-- 启用 MapReduce 任务间的压缩 -->
<property>
  <name>mapreduce.map.output.compress</name>
  <value>true</value>
</property>

<!-- 设置压缩算法 -->
<property>
  <name>mapreduce.map.output.compress.codec</name>
  <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

2.3 使用分区和分桶

在创建 Hive 表时，可以使用分区（Partition）和分桶（Bucket）对数据进行分组，从而提高查询性能。

分区：将表按照某个字段分成多个独立的子表。
分桶：将表中的数据按照某个字段的哈希值分成多个文件。
创建分区表的示例：

CREATE TABLE sales (
  id INT,
  product STRING,
  amount INT
)
PARTITIONED BY (region STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

创建分桶表的示例：

CREATE TABLE sales (
  id INT,
  product STRING,
  amount INT,
  region STRING
)
CLUSTERED BY (region) INTO 4 BUCKETS
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

3. 数据存储优化

3.1 选择适当的文件格式

选择适当的文件格式可以提高 Hive 查询性能。以下是一些常见的文件格式：

文本文件（TextFile）：默认的文件格式，适用于简单的数据存储和处理。
SequenceFile：适用于键值对数据的存储。
Avro：适用于具有复杂数据结构和模式演变需求的场景。
Parquet：适用于列式存储，优化了列式查询的性能。
ORC：适用于高压缩比和高查询性能的场景。

3.2 使用压缩

为了节省存储空间和提高查询性能，可以对 Hive 表使用压缩。以下是一些常见的压缩算法：

Snappy：提供较高的压缩速度和适中的压缩比。
LZO：提供较高的压缩速度和较低的压缩比。
Gzip：提供较高的压缩比和较低的压缩速度。
在创建表时，可以选择使用压缩：

CREATE TABLE sales (
  id INT,
  product STRING,
  amount INT,
  region STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY");

4. 使用索引

Hive 支持创建索引，以提高查询性能。但是，索引需要额外的存储空间和维护成本。在创建索引时，需要权衡查询性能和存储成本。

创建索引的示例：

CREATE INDEX sales_region_idx ON TABLE sales (region)
AS 'COMPACT'
WITH DEFERRED REBUILD
IDXPROPERTIES ("creator"="hive", "created_at"="2023-04-05");

5. 使用矢量化查询

矢量化查询可以显著提高查询性能，特别是针对列式存储格式，如ORC 和 Parquet。要启用矢量化查询，可以在 hive-site.xml 配置文件中设置以下参数：

<property>
  <name>hive.vectorized.execution.enabled</name>
  <value>true</value>
</property>

6. 使用 CBO（代价基准优化器）

CBO（Cost-Based Optimizer）可以根据数据统计信息自动优化查询计划，从而提高查询性能。要启用 CBO，可以在 hive-site.xml配置文件中设置以下参数：

<property>
  <name>hive.cbo.enable</name>
  <value>true</value>
</property>

<property>
  <name>hive.compute.query.using.stats</name>
  <value>true</value>
</property>

<property>
  <name>hive.stats.fetch.column.stats</name>
  <value>true</value>
</property>

<property>
  <name>hive.stats.fetch.partition.stats</name>
  <value>true</value>
</property>

请注意，要使用 CBO，需要为表收集统计信息。可以使用 ANALYZE TABLE 命令收集统计信息：

ANALYZE TABLE sales COMPUTE STATISTICS;
ANALYZE TABLE sales COMPUTE STATISTICS FOR COLUMNS;

7. 使用局部聚合

局部聚合可以减少在 MapReduce 任务之间传输的数据量，从而提高查询性能。要启用局部聚合，可以在 hive-site.xml 配置文件中设置以下参数：

<property>
  <name>hive.map.aggr</name>
  <value>true</value>
</property>

8. 优化连接查询

为了提高连接查询的性能，可以使用以下策略：

优先使用 equi-join（等值连接），因为 Hive 可以自动优化这类连接。
在 join 语句中，将小表放在前面，以减少连接操作的数据量。
尽量避免使用笛卡尔积连接，因为它会产生大量的数据传输和计算。

9. 调整数据倾斜

数据倾斜是指某些键值的数据量远大于其他键值，导致 MapReduce 任务的负载不均衡。要解决数据倾斜问题，可以使用以下方法：

使用 SKEWED BY 语句创建倾斜表。
使用 DISTRIBUTE BY 和 SORT BY 语句调整数据分布。
使用 mapjoin 提示将大表连接操作转换为 Map Join。
创建倾斜表的示例：

CREATE TABLE sales_skewed (
  id INT,
  product STRING,
  amount INT,
  region STRING
)
SKEWED BY (region)
ON ('A', 'B', 'C')
STORED AS DIRECTORIES;

使用 DISTRIBUTE BY 和 SORT BY 语句调整数据分布：

SELECT *
FROM sales
DISTRIBUTE BY region
SORT BY region, amount;

使用 mapjoin 提示将大表连接操作转换为 Map Join：

SELECT /*+ MAPJOIN(small_table) */ large_table.id, large_table.product, small_table.region
FROM large_table
JOIN small_table ON large_table.id = small_table.id;

10. 使用缓存

为了减少磁盘 I/O 和网络传输，可以将小表缓存在内存中。要使用缓存，可以在 hive-site.xml 配置文件中设置以下参数：

<property>
  <name>hive.auto.convert.join</name>
  <value>true</value>
</property>

<property>
  <name>hive.auto.convert.join.noconditionaltask.size</name>
  <value>10485760</value> <!-- 设置缓存大小，单位：字节 -->
</property>

11. 并行执行

Hive 支持并行执行，可以同时执行多个 MapReduce 任务，从而提高查询性能。要启用并行执行，可以在 hive-site.xml 配置文件中设置以下参数：

<property>
  <name>hive.exec.parallel</name>
  <value>true</value>
</property>

<property>
  <name>hive.exec.parallel.thread.number</name>
  <value>8</value> <!-- 设置并行线程数 -->
</property>

12. 预热 HDFS 缓存

对于经常被查询的数据，可以将这些数据预热到 HDFS 缓存中，以减少查询时的磁盘 I/O。要使用 HDFS 缓存，首先需要在 HDFS 上启用中央缓存：

hdfs cacheadmin -addPool myPool

然后，将需要预热的数据添加到 HDFS 缓存池中：

hdfs cacheadmin -addDirective -path /user/hive/warehouse/mytable -pool myPool

13. 使用动态分区插入

动态分区插入可以在插入数据时自动创建新的分区，从而提高查询性能。要启用动态分区插入，可以在 hive-site.xml 配置文件中设置以下参数：

<property>
  <name>hive.exec.dynamic.partition</name>
  <value>true</value>
</property>

<property>
  <name>hive.exec.dynamic.partition.mode</name>
  <value>nonstrict</value>
</property>

使用动态分区插入的示例：

INSERT INTO TABLE sales_partitioned
PARTITION (region)
SELECT id, product, amount, region
FROM sales;

14. 使用 Hadoop 守护进程

Hadoop 守护进程（如 DataNode 和 TaskTracker）可以在后台运行，从而提高查询性能。要启用 Hadoop 守护进程，可以在 Hadoop 配置文件（如 hadoop-env.sh）中设置以下参数：

export HADOOP_DATANODE_OPTS="-Xmx2g -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"
export HADOOP_TASKTRACKER_OPTS="-Xmx2g -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"

以上是更多关于 Hive 调优的策略和方法。由于每个环境和场景都有其特点，请根据实际情况进行调整。希望对您有所帮助。