Hive优化

Hive优化
核心思想
把HiveSQL当作MapReduce程序去优化

注:以下SQL不会转化为MapReduce来执行

• select仅查询本表字段
• where仅对本表字段做条件过滤
  Explain显示执行计划
  -EXPLAIN[EXTENDED] query:extended会更加详细的展示查询过程
  

1.Hive抓取策略

hive对某些情况的查询不需要使用MapReduce计算
抓取策略:Set hive.fetch.task.conversion=none/more;
默认是开启的,一般默认开机就行.

2.hive运行方式

本地模式
集群模式

本地模式
开启本地模式：
set hive.exec.mode.local.auto=true;默认是false,在集群模式,一般本地测试的时候,可以改为本地,但hi本地执行,在hadoop web页面不会展示
注意：
hive.exec.mode.local.auto.inputbytes.max默认值为128M
表示加载文件的最大值，若大于该配置仍会以集群方式来运行！