hive相关参数使用---持续更新

hive.fetch.task.conversion参数

可以在hive,jdbc连接中添加该参数。hive查询对应的底层可以是MR任务,也可以是Fetch 任务即直接读取存储在目录下的文件。决定这个行为的参数是 hive.fetch.task.conversion。

  • 当设置为none时表示所有任务都是生成MR任务
  • 当设置成more时,不限定列,简单的查找select filter limit 都不生成MR任务,其他都生成MR任务。
    设置需要灵活决定,当是简单查询时,我们可能想没必要生成MR直接跑就可以了,但是对于大表线性扫描查询速度会比较慢。

hive.execution.engine参数

可以在hive,jdbc连接中添加该参数。对于hive底层生成MR任务是使用MapReduce引擎还是tez引擎,需要通过该参数指定,默认是MapReduce引擎。如果要使用tez引擎设置为hive.execution.engine=tez。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值