Hive底层优化

博客地址:
https://hortonworks.com/blog/100x-faster-hive/
https://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/
https://hortonworks.com/blog/5-ways-make-hive-queries-run-faster/

五个调优hive的建议:

1.使用TEZ引擎
使用TEZ引擎代替原有的MR引擎,提高计算速度(什么是TEZ请自行百度)
如何开启
set hive.execution.engine = tez;
这样就可以使用TEZ引擎了
注:CDH集群并不支持tez

2.使用ORC存储格式
主要思想是 predicate push-Down and compression
使用ORC文件作为底层存储,可以使你Hive的查询响应的更快.
例子

SELECT A.customerID, A.name, A.age, A.address join
B.role, B.department, B.salary
ON A.customerID=B.customerID;
这个SQL语句如果用Hive本身默认的存储格式text的话,可能会耗费更长时间,如果使用orc文件格式的话,可能会查询的非常快

如何使用 ORC

CREATE TABLE A_ORC (
customerID int, name string, age int, address string
) STORED AS ORC tblproperties (“orc.compress" = “SNAPPY”);

INSERT INTO TABLE A_ORC SELECT * FROM A;</

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值