Hive之set参数大全-18

最新推荐文章于 2024-01-30 19:22:16 发布
最新推荐文章于 2024-01-30 19:22:16 发布
阅读量1.3k 收藏 25
点赞数 20
分类专栏： Hive 文章标签： hive 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49620121/article/details/135886578
版权

指定在执行 Spark 上的动态分区裁剪时，用于评估分区数据大小的最大限制

在 Hive 中，hive.spark.dynamic.partition.pruning.max.data.size 是一个配置参数，用于指定在执行 Spark 上的动态分区裁剪时，用于评估分区数据大小的最大限制。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制动态分区裁剪的优化，限制用于评估分区数据大小的最大数据量。

  2. 默认值： 默认情况下，hive.spark.dynamic.partition.pruning.max.data.size 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.dynamic.partition.pruning.max.data.size=1000000;

  4. 影响： 设置最大数据大小限制是为了防止在分区数据量很大的情况下，动态分区裁剪操作的性能开销过大。如果分区的数据大小超过该限制，Hive 将不再尝试评估分区数据大小并进行裁剪优化。

  5. 注意事项：

    • 调整此参数时，需要根据分区数据的实际大小和系统性能需求进行合理的设置。
    • 过大的最大数据大小限制可能导致性能下降，而过小的限制可能导致放弃分区裁剪的优化机会。
    • 在分析查询性能时，需要考虑分区数据的分布和查询模式。

示例：

-- 设置 Hive on Spark 中动态分区裁剪评估分区数据大小的最大限制为 1,000,000 字节
SET hive.spark.dynamic.partition.pruning.max.data.size=1000000;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在执行 Spark 任务时是否显示任务的内部进度信息

在 Hive 中，hive.spark.exec.inplace.progress 是一个配置参数，用于指定在执行 Spark 任务时是否显示任务的内部进度信息。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Hive on Spark 执行过程中显示任务的内部进度信息。

  2. 默认值： 默认情况下，hive.spark.exec.inplace.progress 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.exec.inplace.progress=true;

  4. 影响： 如果设置为 true，在执行 Spark 任务时，Hive on Spark 将显示任务的内部进度信息，这对于了解任务执行情况和调试可能的性能问题很有帮助。如果设置为 false，则不显示内部进度信息。

  5. 注意事项：

    • 在大规模数据处理时，显示内部进度信息可能对性能产生一些开销，因此在生产环境中可能更倾向于关闭此选项。
    • 对于调试和性能分析，启用内部进度信息可能是很有用的。
    • 此参数的设置可能会影响日志的输出，因此在生产和调试之间可能需要调整。

示例：

-- 在执行 Spark 任务时显示 Hive on Spark 的内部进度信息
SET hive.spark.exec.inplace.progress=true;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在执行 Spark 任务时输出用户级别的执行计划（explain）

在 Hive 中，hive.spark.explain.user 是一个配置参数，用于指定是否在执行 Spark 任务时输出用户级别的执行计划（explain）。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Hive on Spark 执行过程中输出用户级别的执行计划，以便用户能够查看查询的详细执行计划。

  2. 默认值： 默认情况下，hive.spark.explain.user 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.explain.user=true;

  4. 影响： 如果设置为 true，在执行 Spark 任务时，Hive on Spark 将输出用户级别的执行计划，该计划提供了查询的详细信息，包括数据读取、操作和连接等步骤。如果设置为 false，则不输出用户级别的执行计划。

  5. 注意事项：

    • 输出用户级别的执行计划对于理解查询的执行步骤和性能分析是很有帮助的。
    • 在生产环境中，由于输出可能包含敏感信息，可能更倾向于关闭此选项。
    • 启用该参数可能会产生大量输出，因此在需要时才建议启用。

示例：

-- 在执行 Spark 任务时输出用户级别的执行计划
SET hive.spark.explain.user=true;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定每个 Spark 作业（job）执行的最大任务数

在 Hive 中，hive.spark.job.max.tasks 是一个配置参数，用于指定每个 Spark 作业（job）执行的最大任务数。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制每个 Spark 作业中可以并行执行的最大任务数，这有助于在大规模数据处理时调整并行度。

  2. 默认值： 默认情况下，hive.spark.job.max.tasks 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.job.max.tasks=1000;

  4. 影响： 调整每个 Spark 作业的最大任务数可以影响作业的并行度。较大的值可能会提高作业的并行执行性能，但也可能导致资源竞争和系统压力。较小的值可能减少并行执行的开销，但也可能导致作业执行速度较慢。

  5. 注意事项：

    • 调整该参数时，需要根据集群的硬件配置和性能需求进行合理的设置。
    • 过大的最大任务数可能导致资源竞争和性能下降，过小的值可能无法充分利用集群资源。
    • 在进行性能调整时，建议进行实际的性能测试以确定最佳的设置。

示例：

-- 设置每个 Spark 作业中可以并行执行的最大任务数为 1000,-1为自动分配
SET hive.spark.job.max.tasks=1000;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定监视 Spark 作业（job）执行的超时时间

在 Hive 中，hive.spark.job.monitor.timeout 是一个配置参数，用于指定监视 Spark 作业（job）执行的超时时间。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制监视 Spark 作业执行的最大时间。如果作业执行时间超过指定的超时时间，Hive 将终止该作业。

  2. 默认值： 默认情况下，hive.spark.job.monitor.timeout 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.job.monitor.timeout=3600;

  4. 影响： 该参数的设置允许控制 Spark 作业执行的最大时间，以防止长时间运行的作业对集群资源产生不良影响。

  5. 注意事项：

    • 超时时间的设置应基于作业的性质和数据量进行合理评估。
    • 过长的超时时间可能导致长时间运行的作业占用资源，而过短的时间可能导致正常作业被误报为超时。
    • 当调整此参数时，需要进行实际的性能测试以确保超时时间设置得当。

示例：

-- 设置监视 Spark 作业执行的超时时间为 3600 秒（1 小时）
SET hive.spark.job.monitor.timeout=3600;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在 Spark 任务中是否启用优化以减少数据序列化和反序列化（SerDe）的开销

在 Hive 中，hive.spark.optimize.shuffle.serde 是一个配置参数，用于指定在 Spark 任务中是否启用优化以减少数据序列化和反序列化（SerDe）的开销。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Spark 任务中启用优化，以减少由于数据传输而涉及的序列化和反序列化操作的性能开销。

  2. 默认值： 默认情况下，hive.spark.optimize.shuffle.serde 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.optimize.shuffle.serde=true;

  4. 影响： 如果设置为 true，则在 Spark 任务的执行中尝试优化以减少数据传输中的 SerDe 操作。如果设置为 false，则不启用此优化。

  5. 注意事项：

    • 启用此优化可能对某些场景的性能产生积极影响，但并非所有场景都会受益。
    • 在大规模数据处理时，可以进行性能测试以确定是否应该启用此优化。
    • 此参数的设置可能会因 Hive 和 Spark 的版本以及集群配置而有所不同，因此在调整之前请查看相应文档。

示例：

-- 启用 Hive on Spark 中优化以减少数据传输中的 SerDe 操作
SET hive.spark.optimize.shuffle.serde=true;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在使用 Remote Spark Context (RSC) 时传递给 Spark 的一系列配置项

在 Hive 中，hive.spark.rsc.conf.list 是一个配置参数，用于指定在使用 Remote Spark Context (RSC) 时传递给 Spark 的一系列配置项。以下是关于该参数的一些解释：

  1. 用途： 该参数用于设置在 Hive on Spark 中使用 Remote Spark Context 时，要传递给 Spark 的配置项列表。

  2. 默认值： 默认情况下，hive.spark.rsc.conf.list 的值通常是空的，用户可以根据需要添加要传递给 Spark 的配置项。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.rsc.conf.list=spark.some.config=value,spark.another.config=42;

  4. 影响： 通过这个参数，你可以向 Spark 传递特定的配置项，以便定制 Spark 的行为，例如设置内存分配、任务并行度等参数。

  5. 注意事项：

    • 传递给 Spark 的配置项应该是 Spark 可接受的配置项，具体的配置项可以参考 Spark 的文档。
    • 调整配置项时，需要确保配置项的值和格式是正确的，否则可能导致 Spark 启动失败或产生意外行为。
    • 这个参数允许用户在 Hive 中灵活地配置 Spark 的运行时环境，以满足特定需求。

示例：

-- 设置要传递给 Spark 的配置项列表
SET hive.spark.rsc.conf.list=spark.some.config=value,spark.another.config=42;
-- hive.spark.optimize.shuffle.serde,hive.spark.client.future.timeout

请注意，具体的配置项和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定每个 Spark 阶段（stage）执行的最大任务数

在 Hive 中，hive.spark.stage.max.tasks 是一个配置参数，用于指定每个 Spark 阶段（stage）执行的最大任务数。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制每个 Spark 阶段中可以并行执行的最大任务数，以帮助调整阶段的并行度。

  2. 默认值： 默认情况下，hive.spark.stage.max.tasks 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.stage.max.tasks=1000;

  4. 影响： 该参数的设置允许控制每个 Spark 阶段中可以并行执行的最大任务数，从而影响作业的并行度。较大的值可能会提高阶段的并行执行性能，但也可能导致资源竞争和系统压力。较小的值可能减少并行执行的开销，但也可能导致阶段执行速度较慢。

  5. 注意事项：

    • 调整该参数时，需要根据集群的硬件配置和性能需求进行合理的设置。
    • 过大的最大任务数可能导致资源竞争和性能下降，过小的值可能无法充分利用集群资源。
    • 在进行性能调整时，建议进行实际的性能测试以确定最佳的设置。

示例：

-- 设置每个 Spark 阶段中可以并行执行的最大任务数为 1000
SET hive.spark.stage.max.tasks=1000;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在使用 Spark 进行数据处理时是否启用基于 GroupBy 的Shuffle优化

在 Hive 中，hive.spark.use.groupby.shuffle 是一个配置参数，用于指定在使用 Spark 进行数据处理时是否启用基于 GroupBy 的Shuffle优化。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Spark 执行期间启用基于 GroupBy 的Shuffle优化，以提高性能。

  2. 默认值： 默认情况下，hive.spark.use.groupby.shuffle 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.use.groupby.shuffle=true;

  4. 影响： 如果设置为 true，Hive 将尝试使用基于 GroupBy 的Shuffle优化，以改进查询性能，特别是对于某些聚合操作。如果设置为 false，则禁用此优化。

  5. 注意事项：

    • 启用基于 GroupBy 的Shuffle优化可以改进一些查询的性能，但并非所有查询都会受益。
    • 在某些情况下，禁用此优化可能更有效，具体取决于查询模式和表的特性。
    • 在调整参数之前，最好进行性能测试以确保更改对系统性能有正面影响。

示例：

-- 启用基于 GroupBy 的Shuffle优化
SET hive.spark.use.groupby.shuffle=true;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在 Spark 执行期间启用操作统计信息（operation statistics）

在 Hive 中，hive.spark.use.op.stats 是一个配置参数，用于指定是否在 Spark 执行期间启用操作统计信息（operation statistics）。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否启用 Spark 执行期间的操作统计信息，以提供有关查询执行的详细性能统计。

  2. 默认值： 默认情况下，hive.spark.use.op.stats 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.use.op.stats=true;

  4. 影响： 如果设置为 true，Hive 将尝试收集 Spark 执行期间的操作统计信息，这些信息包括每个操作的执行时间、输入输出记录数等。如果设置为 false，则禁用此功能。

  5. 注意事项：

    • 启用操作统计信息可以提供对查询执行性能的详细了解，对于调试和性能优化是有帮助的。
    • 但在大规模数据处理时，收集操作统计信息可能会带来一定的性能开销，因此在生产环境中可能更倾向于关闭此选项。
    • 在调整参数之前，最好进行性能测试以确保更改对系统性能有正面或可接受的影响。

示例：

-- 启用 Spark 执行期间的操作统计信息
SET hive.spark.use.op.stats=true;

请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在使用 Spark 执行 Map Join 操作时是否启用基于表统计信息的优化

在 Hive 中，hive.spark.use.ts.stats.for.mapjoin 是一个配置参数，用于指定在使用 Spark 执行 Map Join 操作时是否启用基于表统计信息的优化。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在 Spark 执行 Map Join 操作时启用基于表统计信息的优化，以提高性能。

  2. 默认值： 默认情况下，hive.spark.use.ts.stats.for.mapjoin 的值通常是根据 Hive 的版本和配置而变化的。在某些版本中可能有默认值，而在另一些版本中可能需要手动设置。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.spark.use.ts.stats.for.mapjoin=true;

  4. 影响： 如果设置为 true，Hive 将尝试使用基于表统计信息的优化来提高 Spark 执行 Map Join 操作的性能。如果设置为 false，则禁用此优化。

  5. 注意事项：

    • 启用基于表统计信息的优化可以提高某些 Map Join 操作的性能，但并非所有场景都会受益。
    • 在调整参数之前，最好进行性能测试以确保更改对系统性能有正面影响。
    • 请注意，具体的配置和效果可能会根据 Hive 和 Spark 的版本以及其他环境因素而有所不同。

示例：

-- 启用基于表统计信息的优化，用于 Spark 执行 Map Join 操作
SET hive.spark.use.ts.stats.for.mapjoin=true;

在实际使用中，建议根据数据和查询的特性进行测试和调整，以确定最适合你的场景的配置。

指定在 SSL/TLS 连接中禁用的协议的黑名单

在 Hive 中，hive.ssl.protocol.blacklist 是一个配置参数，用于指定在 SSL/TLS 连接中禁用的协议的黑名单。以下是关于该参数的一些解释：

  1. 用途： 该参数用于限制在 SSL/TLS 连接中使用的协议版本，以增强连接的安全性。

  2. 默认值： 默认情况下，hive.ssl.protocol.blacklist 的值通常为空，表示没有明确禁用任何协议。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.ssl.protocol.blacklist=SSLv3,TLSv1.0;

  4. 影响： 通过配置协议的黑名单，可以禁用不安全或弱密码的协议，以提高 SSL/TLS 连接的安全性。

  5. 注意事项：

    • 在配置黑名单时，需要确保不禁用正在使用的协议版本，否则可能导致连接失败。
    • 配置黑名单时应当根据安全最佳实践选择需要禁用的协议版本。
    • 确保协议黑名单的设置符合组织的安全策略和要求。

示例：

-- 在 SSL/TLS 连接中禁用 SSLv3 和 TLSv1.0 协议
SET hive.ssl.protocol.blacklist=SSLv3,TLSv1.0;

请注意，具体的配置和效果可能会根据 Hive 和使用的 SSL/TLS 库版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在执行查询时是否对 MapReduce 阶段的ID进行重新排列

在 Hive 中，hive.stageid.rearrange 是一个配置参数，用于指定在执行查询时是否对 MapReduce 阶段的ID进行重新排列。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制是否在执行 Hive 查询时对 MapReduce 阶段的ID进行重新排列。

  2. 默认值： 默认情况下，hive.stageid.rearrange 的值通常是 true，表示对 MapReduce 阶段的ID进行重新排列。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stageid.rearrange=false;

  4. 影响： 如果设置为 true，Hive 将对 MapReduce 阶段的ID进行重新排列。如果设置为 false，则禁用此重新排列。

  5. 注意事项：

    • 对 MapReduce 阶段的ID进行重新排列可以使查询计划更容易理解和分析。
    • 重新排列的阶段ID可能更加有序，但在某些情况下，具体的顺序可能不是关键因素。
    • 根据查询和分析的需求，可以选择启用或禁用此功能。

示例：

-- 禁用对 MapReduce 阶段ID的重新排列
SET hive.stageid.rearrange=false;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在 Hive 服务器启动时清理临时目录

在 Hive 中，hive.start.cleanup.scratchdir 是一个配置参数，用于指定是否在 Hive 服务器启动时清理临时目录。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制 Hive 服务器启动时是否清理临时目录。

  2. 默认值： 默认情况下，hive.start.cleanup.scratchdir 的值通常是 true，表示在启动 Hive 服务器时清理临时目录。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.start.cleanup.scratchdir=false;

  4. 影响： 如果设置为 true，Hive 服务器在启动时将清理临时目录。如果设置为 false，则禁用清理操作。

  5. 注意事项：

    • 清理临时目录可以释放存储空间，但也可能导致正在进行的查询和任务的中断。
    • 在某些情况下，如果临时目录的清理可能影响正在运行的作业，请慎重配置此参数。
    • 根据集群的需求和使用情况，可以灵活配置此参数。

示例：

-- 禁用 Hive 服务器启动时的临时目录清理操作
SET hive.start.cleanup.scratchdir=false;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在表上启用自动收集统计信息

在 Hive 中，hive.stats.autogather 是一个配置参数，用于指定是否在表上启用自动收集统计信息。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制是否在表上启用自动收集统计信息。统计信息对于查询优化和执行计划生成非常重要。

  2. 默认值： 默认情况下，hive.stats.autogather 的值通常是 true，表示自动收集统计信息是启用的。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.autogather=false;

  4. 影响： 如果设置为 true，Hive 将自动收集表的统计信息，包括行数、数据大小等。如果设置为 false，则禁用自动收集统计信息。

  5. 注意事项：

    • 启用自动收集统计信息可以帮助 Hive 优化查询计划，提高查询性能。
    • 在某些情况下，禁用自动收集统计信息可能是有意义的，例如，如果你希望手动管理统计信息的收集。
    • 统计信息的自动收集可能会对系统性能产生一些开销，因此在大规模数据处理时需要谨慎配置。

示例：

-- 禁用自动收集表的统计信息
SET hive.stats.autogather=false;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在收集表统计信息时也收集扫描列的统计信息

在 Hive 中，hive.stats.collect.scancols 是一个配置参数，用于指定是否在收集表统计信息时也收集扫描列的统计信息。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制是否在表统计信息中收集扫描列的统计信息，包括列的最小值、最大值等。

  2. 默认值： 默认情况下，hive.stats.collect.scancols 的值通常是 false，表示不会在收集表统计信息时收集扫描列的统计信息。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.collect.scancols=true;

  4. 影响： 如果设置为 true，在收集表的统计信息时，Hive 将同时收集扫描列的统计信息。如果设置为 false，则不收集扫描列的统计信息。

  5. 注意事项：

    • 收集扫描列的统计信息可以提供更丰富的查询优化信息，但也会增加统计信息收集的开销。
    • 在某些情况下，如果查询中的列经常用于过滤或者聚合操作，收集扫描列的统计信息可能是有益的。
    • 需要谨慎配置，根据具体的查询模式和性能需求进行决策。

示例：

-- 在收集表统计信息时同时收集扫描列的统计信息
SET hive.stats.collect.scancols=true;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在收集表统计信息时也收集表的键（table keys）信息

在 Hive 中，hive.stats.collect.tablekeys 是一个配置参数，用于指定是否在收集表统计信息时也收集表的键（table keys）信息。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制是否在表统计信息中收集表的键信息，包括主键、外键等。

  2. 默认值： 默认情况下，hive.stats.collect.tablekeys 的值通常是 false，表示不会在收集表统计信息时收集表的键信息。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.collect.tablekeys=true;

  4. 影响： 如果设置为 true，在收集表的统计信息时，Hive 将同时收集表的键信息。如果设置为 false，则不收集表的键信息。

  5. 注意事项：

    • 收集表的键信息可以提供有关表关系的信息，对于查询优化和执行计划生成可能是有帮助的。
    • 需要谨慎配置，因为收集表的键信息可能会增加统计信息收集的开销。
    • 根据具体的查询模式和性能需求，决定是否启用该功能。

示例：

-- 在收集表统计信息时同时收集表的键信息
SET hive.stats.collect.tablekeys=true;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在执行 INSERT 语句时自动收集列级别的统计信息

在 Hive 中，hive.stats.column.autogather 是一个配置参数，用于指定是否在执行 INSERT 语句时自动收集列级别的统计信息。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制是否在执行 INSERT 语句时自动收集列级别的统计信息，包括每个列的最小值、最大值等。

  2. 默认值： 默认情况下，hive.stats.column.autogather 的值通常是 false，表示不会在执行 INSERT 语句时自动收集列级别的统计信息。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.column.autogather=true;

  4. 影响： 如果设置为 true，在执行 INSERT 语句时，Hive 将自动收集插入数据的列级别统计信息。如果设置为 false，则不自动收集列级别的统计信息。

  5. 注意事项：

    • 自动收集列级别的统计信息可以帮助 Hive 优化查询计划，提高查询性能。
    • 在大规模数据处理时，自动收集统计信息可能会带来一些性能开销，需要谨慎配置。
    • 根据具体的查询模式和性能需求，决定是否启用该功能。

示例：

-- 在执行 INSERT 语句时自动收集列级别的统计信息
SET hive.stats.column.autogather=true;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在执行多键关联连接时自动收集统计信息

在 Hive 中，hive.stats.correlated.multi.key.joins 是一个配置参数，用于指定是否在执行多键关联连接时自动收集统计信息。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制是否在执行多键关联连接时自动收集统计信息。多键关联连接指的是在连接操作中使用多个关联键进行匹配。

  2. 默认值： 默认情况下，hive.stats.correlated.multi.key.joins 的值通常是 false，表示不会在执行多键关联连接时自动收集统计信息。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.correlated.multi.key.joins=true;

  4. 影响： 如果设置为 true，在执行多键关联连接时，Hive 将自动收集统计信息以帮助优化查询计划。如果设置为 false，则不会自动收集这些统计信息。

  5. 注意事项：

    • 自动收集统计信息可以帮助 Hive 优化查询计划，尤其是在执行多键关联连接时。
    • 在大规模数据处理时，自动收集统计信息可能会带来一些性能开销，需要谨慎配置。
    • 根据具体的查询模式和性能需求，决定是否启用该功能。

示例：

-- 在执行多键关联连接时自动收集统计信息
SET hive.stats.correlated.multi.key.joins=true;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在存储表统计信息时使用的数据库类别

在 Hive 中，hive.stats.dbclass 是一个配置参数，用于指定在存储表统计信息时使用的数据库类别。以下是有关该参数的一些解释：

  1. 用途： 该参数用于指定存储表统计信息时使用的数据库类别，影响表统计信息的存储位置和格式。

  2. 默认值： 默认情况下，hive.stats.dbclass 的值通常是空的，表示使用默认的数据库类别。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.dbclass=my_custom_stats_db;

  4. 影响： 通过指定数据库类别，可以将表统计信息存储在指定的数据库中，这可以是 Hive 元存储中的一个数据库或者外部的某个数据库。

  5. 注意事项：

    • 指定的数据库类别必须在 Hive 中已经存在，否则可能导致存储失败。
    • 使用不同的数据库类别可以帮助组织和管理表统计信息，尤其是在有多个数据库需要区分的情况下。

示例：

-- 指定存储表统计信息时使用的数据库类别
SET hive.stats.dbclass=my_custom_stats_db;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在反序列化对象时用于计算统计信息的因子

在 Hive 中，hive.stats.deserialization.factor 是一个配置参数，用于指定在反序列化对象时用于计算统计信息的因子。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在进行对象反序列化时计算统计信息的因子。

  2. 默认值： 默认情况下，hive.stats.deserialization.factor 的值通常是 1.0，表示使用默认的反序列化因子。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.deserialization.factor=1.5;

  4. 影响： 反序列化因子用于调整 Hive 中表的统计信息，以更准确地反映实际的对象反序列化成本。因子越大，统计信息中的反序列化成本就越高。

  5. 注意事项：

    • 调整反序列化因子可能对查询优化产生影响，因为统计信息用于生成查询计划。
    • 在某些情况下，特定的对象反序列化可能比统计信息中的默认值更昂贵，因此可以考虑调整此参数。
    • 在生产环境中，谨慎调整此参数，并在调整之后进行性能测试以评估影响。

示例：

-- 设置反序列化因子为 1.5
SET hive.stats.deserialization.factor=1.5;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在没有统计信息的情况下进行查询优化时，使用估算值代替缺失的统计信息

在 Hive 中，hive.stats.estimate 是一个配置参数，用于指定是否在没有统计信息的情况下进行查询优化时，使用估算值代替缺失的统计信息。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在没有表统计信息的情况下是否使用估算值进行查询优化。统计信息对于生成有效的查询计划至关重要。

  2. 默认值： 默认情况下，hive.stats.estimate 的值通常是 false，表示在没有统计信息的情况下不使用估算值。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.estimate=true;

  4. 影响： 如果设置为 true，在没有表统计信息的情况下，Hive 将尝试使用估算值进行查询优化。如果设置为 false，则不使用估算值。

  5. 注意事项：

    • 启用估算值可能对于缺乏统计信息的表和列提供一定程度的查询优化。
    • 估算值是基于查询执行的规则和启发式生成的，可能不是非常精确。
    • 在生产环境中，建议根据具体的查询模式和性能需求，谨慎配置此参数。

示例：

-- 启用在没有统计信息的情况下使用估算值进行查询优化
SET hive.stats.estimate=true;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

是否在获取表统计信息时使用位向量（bit vectors）

在 Hive 中，hive.stats.fetch.bitvector 是一个配置参数，用于指定是否在获取表统计信息时使用位向量（bit vectors）。以下是关于该参数的一些解释：

  1. 用途： 该参数用于控制在获取表统计信息时是否使用位向量来表示某些信息，以减少存储和提高效率。

  2. 默认值： 默认情况下，hive.stats.fetch.bitvector 的值通常是 true，表示在获取表统计信息时使用位向量。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.fetch.bitvector=false;

  4. 影响： 如果设置为 true，在获取表统计信息时，Hive 将使用位向量来表示某些信息，以减少存储和提高效率。如果设置为 false，则不使用位向量。

  5. 注意事项：

    • 使用位向量可以在存储和传输表统计信息时减少所需的空间。
    • 位向量的使用可能在某些查询优化和执行计划生成中提高性能。
    • 在生产环境中，建议根据具体的查询模式和性能需求，谨慎配置此参数。

示例：

-- 禁用在获取表统计信息时使用位向量
SET hive.stats.fetch.bitvector=false;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在获取表统计信息时是否同时获取列级别的统计信息

在 Hive 中，hive.stats.fetch.column.stats 是一个配置参数，用于指定在获取表统计信息时是否同时获取列级别的统计信息。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在获取表统计信息时是否同时获取列级别的统计信息，包括每个列的最小值、最大值等。

  2. 默认值： 默认情况下，hive.stats.fetch.column.stats 的值通常是 false，表示在获取表统计信息时不会同时获取列级别的统计信息。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.fetch.column.stats=true;

  4. 影响： 如果设置为 true，在获取表统计信息时，Hive 将同时获取列级别的统计信息。如果设置为 false，则不获取列级别的统计信息。

  5. 注意事项：

    • 获取列级别的统计信息可以提供更详细的查询优化信息，但也可能增加存储和传输的开销。
    • 在某些情况下，特别是对于包含大量列的表，禁用列级别的统计信息可能会减轻开销。
    • 根据具体的查询模式和性能需求，决定是否启用该功能。

示例：

-- 在获取表统计信息时同时获取列级别的统计信息
SET hive.stats.fetch.column.stats=true;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在使用IN子句进行过滤时，Hive 是否要考虑统计信息中的因子来优化查询计划

在 Hive 中，hive.stats.filter.in.factor 是一个配置参数，用于指定在使用IN子句进行过滤时，Hive 是否要考虑统计信息中的因子来优化查询计划。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在使用IN子句进行过滤时是否考虑统计信息中的因子，以帮助优化查询计划。

  2. 默认值： 默认情况下，hive.stats.filter.in.factor 的值通常是 true，表示在使用IN子句进行过滤时考虑统计信息中的因子。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.filter.in.factor=false;

  4. 影响： 如果设置为 true，在使用IN子句进行过滤时，Hive 将考虑统计信息中的因子来优化查询计划。如果设置为 false，则不考虑因子。

  5. 注意事项：

    • 启用考虑统计信息中的因子可以帮助 Hive 生成更有效的查询计划，特别是对于包含大量值的IN子句。
    • 在某些情况下，禁用考虑因子可能有助于在不同查询场景中进行性能调整。
    • 根据具体的查询模式和性能需求，决定是否启用该功能。

示例：

-- 禁用在使用 IN 子句进行过滤时考虑统计信息中的因子
SET hive.stats.filter.in.factor=false;
-- 在 Hive 中，hive.stats.filter.in.factor 配置参数的默认值为 1.0。这表示在使用 IN 子句进行过滤时，默认情况下，Hive 将考虑统计信息中的因子，这个因子的影响被认为是基准的（乘法因子为 1.0）。
-- 具体来说，这个参数影响在查询计划中使用 IN 子句进行过滤的优化策略。在默认情况下，Hive 将考虑统计信息中的因子，以生成更有效的查询计划。这个因子可能影响查询优化中 IN 子句的处理方式。

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在使用 IN 子句进行过滤时，Hive 考虑统计信息的最小比率

在 Hive 中，hive.stats.filter.in.min.ratio 是一个配置参数，用于指定在使用 IN 子句进行过滤时，Hive 考虑统计信息的最小比率。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在执行查询时，当使用 IN 子句进行过滤时，Hive 考虑统计信息的最小比率。

  2. 默认值： 默认情况下，hive.stats.filter.in.min.ratio 的值通常是 1.0，表示默认情况下要考虑全部统计信息。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.filter.in.min.ratio=0.5;

  4. 影响： 如果设置为 1.0，表示 Hive 在执行查询时将考虑全部统计信息。如果设置为小于 1.0 的值，例如 0.5，则 Hive 将考虑那些达到或超过查询条件一半大小的统计信息。

  5. 注意事项：

    • 通过调整这个参数，可以在特定的查询场景中对 IN 子句进行过滤的优化策略进行调整。
    • 较小的值可能导致更快的查询计划生成，但也可能导致查询计划不够准确，需要根据实际情况谨慎配置。
    • 根据数据分布和查询模式，对于某些查询，较小的比率可能会产生更好的性能。

示例：

-- 设置 hive.stats.filter.in.min.ratio 的值为 0.5
SET hive.stats.filter.in.min.ratio=0.5;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定收集表统计信息时的并发线程数

在 Hive 中，hive.stats.gather.num.threads 是一个配置参数，用于指定收集表统计信息时的并发线程数。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在收集表统计信息时使用的并发线程数，以提高统计信息的收集效率。

  2. 默认值： 默认情况下，hive.stats.gather.num.threads 的值通常是 1，表示默认情况下是单线程执行统计信息的收集。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.gather.num.threads=4;

  4. 影响： 如果设置为大于 1 的值，Hive 将使用多个并发线程来同时收集不同表的统计信息，以加速整个过程。较大的值可能在具有多个表的数据库中带来性能提升。

  5. 注意事项：

    • 提高并发线程数可以加速统计信息的收集，但需要根据系统资源和数据库规模来合理配置。
    • 过多的线程可能会导致系统资源的竞争，因此需要权衡性能和资源消耗。
    • 根据数据库的大小和性能需求，适当调整该参数。

示例：

-- 设置收集表统计信息时的并发线程数为 4
SET hive.stats.gather.num.threads=4;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定在执行连接操作时，Hive 考虑统计信息的因子

在 Hive 中，hive.stats.join.factor 是一个配置参数，用于指定在执行连接操作时，Hive 考虑统计信息的因子。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在执行连接操作时，Hive 是否考虑表的统计信息中的因子，以帮助生成更有效的查询计划。

  2. 默认值： 默认情况下，hive.stats.join.factor 的值通常是 1.0，表示默认情况下要考虑全部统计信息。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.join.factor=2.0;

  4. 影响： 如果设置为 1.0，Hive 在执行连接操作时将考虑全部统计信息。如果设置为其他值，例如 2.0，则 Hive 将考虑那些达到或超过原始值两倍大小的统计信息。

  5. 注意事项：

    • 通过调整这个参数，可以在特定的连接查询场景中调整连接操作的优化策略。
    • 较大的值可能导致更复杂的查询计划，但有时可以提高性能，特别是对于大型连接操作。
    • 需要根据实际情况和性能测试结果来决定是否调整此参数。

示例：

-- 设置 hive.stats.join.factor 的值为 2.0
SET hive.stats.join.factor=2.0;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定当 Hive 收集列表统计信息时，列表的最大长度

在 Hive 中，hive.stats.list.num.entries 是一个配置参数，用于指定当 Hive 收集列表统计信息时，列表的最大长度。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在收集列表统计信息时，Hive 考虑的列表的最大长度。列表统计信息通常包括列表的基本信息，如元素数量等。

  2. 默认值： 默认情况下，hive.stats.list.num.entries 的值通常是 1000，表示默认情况下 Hive 收集列表统计信息时考虑的列表的最大长度是 1000。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.list.num.entries=500;

  4. 影响： 如果设置为 1000，Hive 在收集列表统计信息时将考虑所有列表的长度，不超过 1000。如果设置为其他值，例如 500，则 Hive 将考虑列表的最大长度为 500。

  5. 注意事项：

    • 调整这个参数可以根据实际情况限制 Hive 在收集列表统计信息时考虑的列表的最大长度。
    • 对于包含大量元素的列表，较小的值可能提高统计信息的收集效率，但可能会损失一些精确性。
    • 根据实际情况和性能需求来调整此参数。

示例：

-- 设置在收集列表统计信息时考虑的列表的最大长度为 500
SET hive.stats.list.num.entries=500;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定当 Hive 收集映射（Map）统计信息时，映射的最大条目数

在 Hive 中，hive.stats.map.num.entries 是一个配置参数，用于指定当 Hive 收集映射（Map）统计信息时，映射的最大条目数。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在收集映射统计信息时，Hive 考虑的映射的最大条目数。映射统计信息通常包括映射的基本信息，如键值对的数量等。

  2. 默认值： 默认情况下，hive.stats.map.num.entries 的值通常是 1000，表示默认情况下 Hive 收集映射统计信息时考虑的映射的最大条目数是 1000。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.map.num.entries=500;

  4. 影响： 如果设置为 1000，Hive 在收集映射统计信息时将考虑所有映射的条目数，不超过 1000。如果设置为其他值，例如 500，则 Hive 将考虑映射的最大条目数为 500。

  5. 注意事项：

    • 调整这个参数可以根据实际情况限制 Hive 在收集映射统计信息时考虑的映射的最大条目数。
    • 对于包含大量键值对的映射，较小的值可能提高统计信息的收集效率，但可能会损失一些精确性。
    • 根据实际情况和性能需求来调整此参数。

示例：

-- 设置在收集映射统计信息时考虑的映射的最大条目数为 500
SET hive.stats.map.num.entries=500;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

指定收集变量统计信息时允许的最大变量长度

在 Hive 中，hive.stats.max.variable.length 是一个配置参数，用于指定收集变量统计信息时允许的最大变量长度。以下是有关该参数的一些解释：

  1. 用途： 该参数用于控制在收集变量统计信息时，Hive 考虑的变量的最大长度。变量统计信息通常包括字符串等类型的变量的基本信息。

  2. 默认值： 默认情况下，hive.stats.max.variable.length 的值通常是 -1，表示不限制变量的长度。

  3. 配置方法： 你可以通过 Hive 的配置文件或者在 Hive 命令行中使用 SET 命令来配置这个参数。例如：

    SET hive.stats.max.variable.length=1000;

  4. 影响： 如果设置为 -1，Hive 在收集变量统计信息时将考虑所有变量的长度，不限制。如果设置为其他正整数值，例如 1000，则 Hive 将只考虑长度不超过 1000 的变量。

  5. 注意事项：

    • 调整这个参数可以根据实际情况限制 Hive 在收集变量统计信息时考虑的变量的最大长度。
    • 限制变量长度可以提高统计信息的收集效率，但可能会损失一些精确性，特别是对于较大的变量。
    • 根据实际情况和性能需求来调整此参数。

示例：

-- 设置在收集变量统计信息时考虑的变量的最大长度为 1000
SET hive.stats.max.variable.length=1000;

请注意，具体的配置和效果可能会根据 Hive 的版本以及其他环境因素而有所不同。在进行更改之前，建议查阅相应版本的官方文档以获取最准确的信息。

OnePandas
关注
  • 20
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HIVE Statistics(三)
anti
12-11 4091
HIVE Statistics介绍统计信息，例如一个表有多少行，多少个分区，列的直方图等重要的信息。统计信息的关键作用是查询优化。把统计信息作为输入，通过成本优化函数，可以方便的比较不同的查询方案，并且从中进行最优的执行计划。统计数据有时可以直接满足用户的查询目的。比如他们只是查询一些基础数据，而不需要通过运行执行计划.例如，用户的年龄分布，使用最多的top10的apps，多少个不同的session
Statistics in Hive （hive的统计信息搜集） 翻译
tobyqiu的专栏
05-13 1272
原文 https://cwiki.apache.org/confluence/display/Hive/StatsDev   hive的统计信息搜集 动机 范围 执行 用法 变量配置 全新的表 现有的表 例子 Motivation 动机 统计信息，例如一个表有多少行，多少个分区，列的直方图等重要的信息。统计信息的关键作用是查询优化。把统计信息作为输入，通过成本优...
Hive之set参数大全-5
m0_49620121的博客
01-05 1082
在Apache Hive中，通过语句向外部表（External Table）插入数据时，有一些注意事项和限制。外部表是Hive中的一种特殊表，它与Hive管理的存储位置外部的数据进行关联，而不是将数据移动到Hive的默认存储位置。PARTITION请注意，使用将删除外部表中的所有数据，并用新的数据进行替换。总体而言，插入外部表时，确保理解外部表的特性以及数据存储的位置是非常重要的。在插入操作之前，最好先对外部表的结构和数据存储位置进行仔细检查。
Hive常见set的配置设置
weixin_46433065的博客
09-25 3067
Hive常见set的配置设置 设置reduce数量（默认值-1） set mapred.reduce.tasks=100; set mapreduce.job.reduces=3; 修改表为内部表 set tblproperties('EXTERNAL'='FALSE'); 开启分桶表（默认false） set hive.enforce.bucketing=true; 开启Hive中间传输数据压缩功能 set hive.exec.cmpress.intermediate=true; 开启mapreduce
Hive之set参数大全-22(完)
最新发布
m0_49620121的博客
01-30 1474
在 Hive 中，是一个配置参数，用于指定是否启用矢量化处理复杂数据类型。该参数用于控制是否启用 Hive 的矢量化执行引擎对复杂数据类型（例如结构体、数组、映射等）进行矢量化处理。矢量化执行是一种通过同时处理多个数据元素来提高查询性能的技术。默认情况下，的值通常是未设置的，由 Hive 使用其默认的配置。你可以通过 Hive 的配置文件或者在 Hive 命令行中使用SET命令来配置这个参数。该参数通常是一个布尔值，表示是否启用矢量化处理复杂数据类型。true表示启用，false表示禁用。
hive-参数调优
weixin_44280356的博客
04-19 2408
set hive.vectorized.execution.enabled=false; set mapreduce.map.speculative=false; set mapreduce.reduce.speculative=false; use ads_chpp_dev; set mapreduce.job.queuename=badm; ...
【博学谷学习记录】超强总结，用心分享 | 狂野大数据-Hive函数
qq_41151516的博客
03-05 190
1、当在进行数据分析时，如果Hive现存的所有函数都无法满足需求，则可以自定义函数2、自定义函数的分类UDF : 一进一出的函数 substring、floor、reverseUDTF: 一进多出的函数 explodeUDAF: 多进一出的函数 聚合函数（count、max、min）1、 继承UDF类，重写evaluete()方法/*手机号： 13812345678 ---> 138****56782、
Hive优化（整理版）
Swordfall的博客
07-04 355
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载(ETL)，报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache HDFS或其他数据存储系统(如Apache HBase)中的文件； Hive除了支持MapReduce计算引擎，还支持Spark和Tez这两种分布式计算引擎； 它提供类似sql的查询...
Hive analyze命令解析
遥望......
02-06 2968
关于Hive analyze命令 1. 命令用法： 表与分区的状态信息统计 ANALYZE TABLE tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS [noscan]; 列信息统计 ANALYZE TABLE tablename [PARTITION(partcol1[=val1], ...
hiveserver2 清理hdfs的临时目录
wm_1002的博客
09-08 1241
hiveserver2自动清理hdfs临时目录
Hive Server 清理本地临时文件
houzhizhen的专栏
12-30 1147
Hive server scratchdir 在本地存储一些临时文件。如果使用 kill -9 停止 Hive Server 时，来不及清理本地的 scratchdir。再次启动时，默认是不清理本地的 scratchdir 的。那么多次重启 Hive server 后，有可能在本地有大量垃圾文件，这些文件永远不再访问。造成两个问题。
大数据--hive文件存储格式
awys19931001的博客
10-03 254
一、hive文件存储格式 Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。 上图左边为逻辑表，右边第一个为行式存储，第二个为列式存储。 行存储的特点：查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速...
Hive set 常用参数设置
清平乐的技术专栏
01-06 1698
一、设置执行引擎 -- 配置mapreduce计算引擎 set hive.execution.engine=mr; -- 配置tez 计算引擎 set hive.execution.engine=tez; -- 配置spark计算引擎 set hive.execution.engine=spark; 二、分区相关 -- 开启动态分区 set hive.exec.dynamic.partition=true; -- 设置非严格模式，动态分区插入数据需要先设置非严格模式 set hive.exec.dyna
hive参数优化-----亲测有效
lcm_linux的博客
01-15 3352
hive查询的时候，导致服务器负载过高，load值飙升，服务器CPU是8个，按理说load不超过8，都应算ok的，但是，hive在部署完后没有调参，导致在执行过程中，load值达到了7.8以上，服务器连接出现问题，因此想到了调参，现在整理如下： 本次查询所用测试语句为： select util_lnadw21ifj1579078492403.e2467e8ab37945a3869c6d309......
Hive 优化参数
知识的力量
03-13 1万+
HIVE优化参数 hive> set; _hive.hdfs.session.path=/tmp/hive/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.local.session.path=/tmp/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.tmp_table_space=/t
Hadoop 学习笔记之Hive安装
wolf09311的专栏
05-19 647
先看一下什么是Hive，Hive是Hadoop的一个子项目，它是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库 表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive的安装方式有两种
Hive详解之参数和变量设置
lixinkuan的博客
10-05 1万+
hive 参数、变量 hive当中的参数、变量，都是以命名空间开头 通过${}方式进行引用，其中system、env下的变量必须以前缀开头 注：临时会话参数 hive -d val=1; 或者 hive -define val=1; 或者 hive --hivevar val=1; hive 参数设置方式 1、修改配置文件 ${HIVE_HOME}/conf/hive-site....
Hive Hive配置详解
热门推荐
迎难而上
06-25 1万+
整理自 https://www.cnblogs.com/hark0623/p/5650075.html在Hive 安装后，  hive 主要的配置文件为 conf 中  hive-site.xml那该文件中那么多的配置选项都是什么含义呢。下面这篇文章带你解密这些配置请跟随以下这些问题来看以下配置：1.hive输出格式的配置项是哪个？2.hive被各种语言调用如何配置？3.hive提交作业是在hiv...
Hive on Spark 项目环境配置及优化
BrightMoons的博客
10-28 1040
背景介绍 背景 Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。 简介 Hive on Spark是从Hive on MapReduce演进而来，Hive的整体解决方案很不错，但是从查询提交到结
sparksession使用hive metastore怎么替换hive-metastore-site.xml里面配置的值
04-04
可以通过以下步骤来替换hive-metastore-site.xml中的配置值： 1. 在Spark应用程序中创建一个SparkSession对象，并设置相关的参数，如下所示： ``` from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("MyApp") \ .config("spark.sql.warehouse.dir", "/user/hive/warehouse") \ .config("hive.metastore.uris", "thrift://localhost:9083") \ .enableHiveSupport() \ .getOrCreate() ``` 在上面的代码中，我们设置了`hive.metastore.uris`参数来指定Hive Metastore的URI。这将覆盖hive-metastore-site.xml中的值。 2. 如果您想使用不同的Hive Metastore URI，可以在SparkSession对象中使用`config`方法来设置新的值，如下所示： ``` spark.conf.set("hive.metastore.uris", "thrift://newhost:9083") ``` 这将覆盖之前设置的值，并使用新的Hive Metastore URI。 3. 您还可以在Spark应用程序中使用`--conf`参数来设置Hive Metastore URI。例如，如果您使用Spark-submit来提交应用程序，可以使用以下命令： ``` spark-submit --conf spark.sql.warehouse.dir=/user/hive/warehouse \ --conf hive.metastore.uris=thrift://newhost:9083 \ myapp.py ``` 这将覆盖hive-metastore-site.xml中的配置，并使用新的值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

OnePandas

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值