hive中union all 报错Dag submit failed due to 1-1 Edge. Destination vertex parallelism must match source

在 Apache Hive 中使用 UNION ALL 时遇到 “Dag submit failed due to 1-1 Edge. Destination vertex parallelism must match source vertex” 这样的错误通常与底层执行引擎（如 Tez 或 MapReduce）的并行度配置有关。这个错误表明在作业的某个阶段，源顶点和目标顶点的并行度（即并行任务的数量）不匹配。

解决步骤

1. 检查 Hive 配置：

   • 确保 Hive 配置（如 hive-site.xml）中的相关参数设置正确。特别是与 Tez 或 MapReduce 相关的配置，如并行度（mapreduce.job.reduces 或 Tez 相关的配置）。

2. 调整并行度：

   • 如果你在使用 MapReduce，可以尝试调整 mapreduce.job.reduces 的值。这个值决定了 reducer 的数量，可能会影响作业的并行度。
   • 如果你在使用 Tez，检查 Tez 的配置，特别是与并行度相关的配置，如 tez.am.resource.memory.mb、tez.am.resource.cpu.vcores、tez.session.am.dag.submit.timeout.secs 等。

3. 优化查询：

   • 检查你的 UNION ALL 查询是否可以被优化。例如，如果可能的话，尝试减少参与 UNION ALL 的表或查询的数量，或者检查是否有表可以被更有效地过滤或索引。
   • 确保每个 UNION ALL 分支的输出类型（列和类型）完全一致。

4. 查看日志：

   • 详细查看 Hive 作业的日志，特别是 Tez 或 MapReduce 的日志，以获取更多关于错误原因的信息。
   • 日志可能会提供更多关于哪个阶段或哪个顶点出现了并行度不匹配的具体信息。

5. 调整 Tez 配置：

   • 如果你在使用 Tez，并且确信是 Tez 的问题，可以尝试调整 Tez 的队列配置，特别是与并行度、资源使用和超时相关的配置。
   • 也可以尝试增加 Tez 会话的资源限制，例如通过调整 tez.session.am.dag.submit.timeout.secs 来增加提交超时时间。

6. 重启 Hive 服务：

   • 在修改配置后，确保重启 Hive 服务以使更改生效。

7. 使用更简单的查询测试：

   • 尝试运行一个只包含少量数据的简化版本的 UNION ALL 查询，以查看是否仍然出现同样的错误。这有助于确定问题是否与特定数据或查询的复杂性有关。

8. 搜索和社区支持：

   • 搜索类似的错误报告和解决方案，可能其他用户已经遇到过类似的问题。
   • 考虑在 Apache Hive 的用户邮件列表或社区论坛上寻求帮助。

通过上述步骤，你应该能够诊断并解决在 Hive 中使用 UNION ALL 时遇到的并行度不匹配问题。如果问题仍然存在，可能需要更深入地分析查询和配置，或者考虑是否有 Hive、Tez 或 MapReduce 的已知问题或限制。

在大数据处理框架中，如Apache Hadoop的MapReduce和Apache Tez，作业的执行被划分为多个阶段，每个阶段由一系列的任务（Tasks）组成，这些任务在集群的不同节点上并行执行。这些阶段和任务之间的依赖关系构成了作业的执行图（DAG，Directed Acyclic Graph）。

当您遇到“在作业的某个阶段，源顶点和目标顶点的并行度（即并行任务的数量）不匹配”的错误时，这通常意味着在作业的执行图中，有一个或多个阶段（顶点）的并行任务数量与它们依赖的上游阶段（顶点）的并行任务数量不一致。

详细解释

1. 顶点（Vertex）：
   在作业的执行图中，每个顶点代表一个处理阶段，比如MapReduce作业中的Map阶段或Reduce阶段，在Tez中可能是任意的处理逻辑封装成的顶点。

2. 并行度（Parallelism）：
   并行度指的是同时执行的任务数量。在MapReduce中，这通常由mapreduce.job.reduces属性控制Reduce任务的数量，而在Map阶段，并行度则隐式地由输入数据的分片（Splits）数量决定。在Tez中，并行度可以通过配置资源（如内存和CPU核心数）来间接控制，但也可能由Tez优化器根据作业特性和集群资源自动调整。

3. 源顶点与目标顶点：
   在DAG中，如果一个顶点的输出是另一个顶点的输入，则称前者为源顶点，后者为目标顶点。它们之间通过数据流（Edges）相连。

4. 并行度不匹配：
   当源顶点的并行任务数量与目标顶点的并行任务数量不一致时，就会出现并行度不匹配的问题。这可能是因为：

   • 硬编码的并行度：如果源顶点或目标顶点的并行度被硬编码为特定的值，而这些值之间不兼容，就会导致问题。
   • 资源限制：如果集群资源不足以支持目标顶点所需的并行度，Tez或MapReduce框架可能会尝试调整并行度，但这可能导致不匹配。
   • 优化器决策：在某些情况下，作业优化器可能会根据统计信息和资源可用性来动态调整并行度，这可能导致与预期不符的并行度设置。

5. 影响：
   并行度不匹配可能导致数据在不同任务之间分配不均，从而影响作业的性能和结果。在最坏的情况下，它可能导致作业失败，因为某些任务可能无法找到足够的输入数据或无法将输出数据发送到正确的下游任务。

解决方案

• 调整配置：检查并调整与并行度相关的配置，确保它们在不同阶段之间保持一致。
• 优化查询：优化查询逻辑，以减少对并行度的依赖，或使查询更易于并行化。
• 增加资源：如果集群资源不足，考虑增加资源（如更多的节点或更大的内存）以支持更高的并行度。
• 升级框架：如果可能，升级到更新版本的Hadoop、MapReduce、Tez等框架，以利用改进的性能和错误处理功能。
• 查阅文档和社区：查阅相关框架的官方文档和社区论坛，以获取关于并行度配置和优化的更多信息。

个人解决办法：解决不了集群配置就改代码，将union all后面改为insert into得了