hive之性能优化

最新推荐文章于 2024-03-07 22:34:26 发布

树很懒～

最新推荐文章于 2024-03-07 22:34:26 发布

阅读量523

点赞数

分类专栏： linux hive 大数据文章标签： hive 大数据

本文链接：https://blog.csdn.net/little_sloth/article/details/107438044

版权

本文介绍了Hive的事务特性，包括ACID属性、事务支持的局限性及开启方法。接着讨论了Hive性能调优工具，如EXPLAIN和ANALYZE命令。重点讲解了Hive性能优化方法，包括本地模式运行、JVM重用和并行执行，以及查询优化策略，如Map端Join、防止数据倾斜、启用CBO和Vectorization。

摘要由CSDN通过智能技术生成

hive之性能优化

文章目录

hive之性能优化

一、 hive事务

事务（Transaction ）指一组单元化操作，这些操作要么都执行，要么都不执行
ACID特性
Atomicity：原子性–要么都执行要么都不执行
Consistency：一致性–完整性约束
Isolation：隔离性–同一时间只能允许一个事务请求同一数据
Durability：持久性–事务对数据库的更改都保存在数据库
事务的特点和局限性
1） V0.14版本开始支持行级事务
支持INSERT、DELETE、UPDATE(v2.2.0开始支持Merge)
文件格式只支持ORC
2）局限
表必须是bucketed表
需要消耗额外的时间、资源和空间
不支持开始、提交、回滚、桶或分区列上的更新
使用较少
事务的开启和设置
1）通过Hive命令行方式设置,当前session有效

set hive.support.concurrency = true;//开启事务
set hive.enforce.bucketing = true;//强制分桶
set hive.exec.dynamic.partition.mode = nonstrict;//动态分区
set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;//管理模式
set hive.compactor.initiator.on = true;
set hive.compactor.worker.threads = 1;

2）通过配置文件设置，全局有效

最低0.47元/天解锁文章