![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
~shallot~
简单的练习如果持之以恒,就会获得某种神奇的力量。在获得之前,他很神奇,但获得之后,却也很平淡
-------------------------------------------------
知识,哪怕是知识的幻影,也会成为你的铠甲,保护你不被愚昧反噬
展开
-
hive 事务表锁泄露(冲突)问题
hive 锁泄露问题问题描述: hive 表一个分区只能有一个程序/线程获得锁/写入,但发现有两个程序/线程获得了锁,最后在事务提交的时候检查到了冲突。(频率不高,一天一两次的样子)问题分析: hive 客户端实现在本该原子操作的 获取事务ID、启动事务 拆成了需要跨网操作的两步,导致实际串行操作的两次操作,其 [事务启动ID, 事务提交ID] 值对是交叉的(交叉则判断为冲突)。ps. 具体...原创 2018-11-22 19:29:20 · 752 阅读 · 0 评论 -
hive 基于日期(Date)进行分区的最佳实践
一、概述hive表进行分区操作对于读写等操作来说意义重大。最常见的分区类型即通过日期时间,例如年-月-日进行分区。根据日期时间字段进行分区有两种常见的方式:1.一级分区2.多级分区(分区嵌套)所谓的一级分区,故名思义则是将年-月-日看作一个整体。比如说日期2018-12-25,分区字段为date,那么最终的partition则为’date=2018-12-25’。而多级分区,则是将年...原创 2019-01-09 23:19:11 · 15127 阅读 · 1 评论