Hive
文章平均质量分 82
彼岸枫雪非
一个技术很一般的程序媛
展开
-
Spark无法Heartbeat长事务问题的解决方案
我们对spark的源码进行了大量的修改,使得其能够支持事务表,能够对orc表进行update,delete等操作。上文我们提到spark事务o状态残留问题解决,但是该解决方案缺却引发了一个问题,即长事务的情况下会导致数据出错。原创 2020-04-02 10:38:17 · 869 阅读 · 0 评论 -
关于hive事务表o状态残留问题的解决
上次我写过一篇文章https://blog.csdn.net/u012543819/article/details/104540056,其中讲到,在hiveserver异常挂掉的情况下,可能会导致部分事务为o状态且残留在TXNS元数据表中。通过仔细研究TxnHandler的代码,我发现其中有一个方法叫timeOutTxns,其实它核心也就是去修改TXNS表中超时的o状态事务为a状态,以便后续的...原创 2020-04-01 19:10:42 · 688 阅读 · 0 评论 -
记一个hive1.2.1 orc 事务表不能正常提交合并任务的问题
正常情况下,hive通过 CompactionTxnHandler中的findPotentialCompactions 方法获取需要合并的表信息,如下所示,会分别扫描COMPLETED_TXN_COMPONENTS和TXNS, TXN_COMPONENTS,获取已commit 的表信息和abort的事务表信息。/** * This will look through the comp...原创 2020-02-27 17:54:00 · 840 阅读 · 0 评论