Tez替换MR作为hive的计算引擎

由于MR执行效率问题使用Tez替换MR,记录遇到的问题及解决方案
摘要由CSDN通过智能技术生成

CDH集群本身没有集成Tez,所以需要单独编译Tez并且上传Jar包到hdfs,具体可参考https://cloud.tencent.com/developer/article/1349504

本文主要讨论当集群已经有Tez之后的操作。

  1. 更改hive的执行引擎为tez
    1. session级别,可在执行sql的脚本中或者hue窗口
      set hive.execution.engine=tez;

       

    2. 全局执行引擎替换,将CDH集群中Hive的site.xml文件中参数添加参数

      参数添加

       

  2. 指定tez的container内存
    1. session级别
      set hive.tez.container.size = 2048;

       

    2. 全局参数tez-container-memory

配置结束就可以在执行sql的时候使用tez引擎了。

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值