Hive--配置事务（行级更新）及遇到的问题解决

最新推荐文章于 2023-09-11 17:00:00 发布
最新推荐文章于 2023-09-11 17:00:00 发布
阅读量1.7k 收藏 2
点赞数 1
分类专栏： hive 文章标签： 大数据 hive 行级更新
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/czr11616/article/details/101355633
版权
本文介绍了在Hive 2.3.3版本中如何配置行级更新，包括修改`hive-site.xml`的五个关键属性，并解释了它们的作用。在配置后遇到的'Error in acquiring locks'错误，原因是缺少事务相关表。解决方案是手动执行MySQL中的建表脚本或使用`schematool`初始化元数据。
摘要由CSDN通过智能技术生成

Hive从0.14版本以后开始支持行级更新，本博客使用的Hive版本为2.3.3。

我的Hive配置的metastore在远程（我的windows本机）的mysql数据库上，如果配置行级更新，需要在hive的配置文件中配置几个属性：

vi apache-hive-2.3.3-bin/conf/hive-site.xml

 加入如下5个属性：

<property>
           <name>hive.support.concurrency</name>
           <value>true</value>
</property>
<property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
</property>
<property>
        <name>hive.txn.manager</name>
        <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
        <name>hive.

最低0.47元/天 解锁文章
乔治在哪里
关注
专栏目录
大数据学习笔记32：Hive - 下载、安装与配置
howard2005的专栏
01-29 747
文章目录一、初步了解Hive1、Hadoop开发存在的问题2、OLTP系统与OLAP系统（1）OLTP - 在线联机事务处理系统（2）OLAP - 在线联机分析处理系统3、Hive概述（1）Hive的SQL - HQL（2）数据库与数据仓库的区别（3）Hive适用场景二、下载、安装和配置MySQL1、下载mysql-5.7.12-1.el6.x86_64.rpm-bundle.tar2、将MySQ...
在虚拟机上安装MySQL和Hive
howard2005的专栏
06-05 837
1. 掌握如何安装配置MySQL； 2. 掌握如何安装配置Hive
Hive从hive0.14版本开始，通过配置支持事务可以实现hive的行级更新了
qq_25264499的博客
08-18 601
Hive 如何插入多行数据
如何配置hive支持行级数据更新操作？
破晓的成长之路
07-26 2870
Note Hive 默认是不允许数据更新操作的，毕竟它不擅长，即使在0.14版本后，做一些额外的配置便可开启Hive数据更新操作。而在海量数据场景下做update、delete之类的行级数据操作时，效率并不如意。 基本环境： Hive 1.2.1 hadoop 2.7.2 修改HIVE_HOME/conf/hive-site.xml，添加如下配置 <property> <name>hive.support.concurrency</name> <v
CDH Hive行级更新操作--实现update和delete
司马班如
12-12 2564
CDH Hive行级更新操作--实现update和delete一、问题出现原因二、CDH详细操作配置2.1 hive --> 配置 --> 搜索 hive-site2.2 修改服务的和客户端的配置 一、问题出现原因 在Hive表执行update和delete操作时，报如下错误： FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does no
hive参数配置使用
松门一枝花
09-02 1956
概述 set命令设置hive的参数。 ${} 可以获取配置项的值，作为参数使用。 在启动hive时可以传入配置项启动。 hive参数初始化配置set命令~/.hiverc hive参数介绍 输入set，可以查看所有可设置项和现在设置项的值。 hive> set; 项太多了，不一一罗列。 system:sun.os.patch.level=unknown system
Hive Transaction(Hive 事务管理)
houzhizhen的专栏
03-01 3621
Hive 事务管理是 Hive 3 的重要内容。
hive 有没有update_Hive支持行级update、delete时遇到的问题
weixin_39808893的博客
02-15 874
Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。(行级的insert好像不配置也能运行)1、修改hive-site.xml，添加如下语句:hive.support.concurrencytruehive.exec.dynamic.partition.modenonstricthive...
delete hive_hive执行更新和删除操作
weixin_39917090的博客
12-21 1480
Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群。当这些工具以每秒数百行的频率写入时，Hiv...
六、Hive数据仓库应用之Hive事务（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
最新发布
weixin_42051846的博客
09-11 2055
Hive数据仓库应用实验之Hive事务，熟悉了解Hive事务的开启、创建、更新及删除操作，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
原来HIVE 还有这样的坑？
数据一哥，公众号：数据社
06-28 8233
1 从调度系统对 HIVE 作业的调度策略聊起大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。调度系统之所以对 HIVE SQL 作业采取上述调度...
hive的一些调优参数
朝和
10-15 2552
很久以前存的，忘记是从哪篇文章扒拉下来的，里面有很多开发中会用到的参数，希望可以方便大家使用（其实记录这些也是方便后面用到的时候自己方便查看，本地存的东西有点乱了，打算换个地方再存一份）。 set hive.support.concurrency = true; 关闭表锁机制 show locks 查看表锁 set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; set hive...
深入剖析 HIVE 的锁和事务机制
明哥的IT随笔
06-21 1320
深入剖析 HIVE 的锁和事务机制
Hive查询问题（卡住）
小菜
07-27 5379
一、现象 几乎全部SQL语句都不能查，卡死在那里，过很久之后可能会报 FAILED: Error in acquiring locks: Error communicating with the metastore 但是查看后台hive的日志，没有任何异常 SQL语句比如： select 1； show tables； 二、定位原因 1、重启hiveserver2，MetaStore等服务都没有效果 2、考虑是hive元数据的问题 查看hive元数据表的使用情况 show OPEN
【Hive实战】Hive的压缩池与锁
coding and writing
07-27 1740
Hive的压缩池与锁
Hive 优化参数
热门推荐
知识的力量
03-13 1万+
HIVE优化参数 hive> set; _hive.hdfs.session.path=/tmp/hive/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.local.session.path=/tmp/root/bd4f450f-2f3f-460d-8539-5ee573701e59 _hive.tmp_table_space=/t
Hive增量更新方案
周源的专栏
11-07 9128
Hive增量更新方案 方案一（总结出来业界可行方案）： 1、Hive原始表提前规划好以时间分区，初始化装载源库记录为base_table（最新数据） 2、每个相关表都会有一个timestamp列，对每一行操作做了修改，都会重置这列timestamp为当前时间戳； 3、新增数据通过sqoop（支持当天抽取）或者导出当天文件两种形式，抽取或导入到hive表，记录为新增表incremental_tabl...
【Hive】Hive锁机制分析及任务问题处理
qq_37472274的博客
09-04 2478
1.背景 在数据仓库开发中，遇到了读取数据任务导致锁表问题，发现是因为补数据或月度大任务跨天运行，此时凌晨定时的写入操作就会被阻塞进入等待状态（如果超过最大等待时间会失败），直到读取任务完成写入任务才可以继续运行，导致当天结果层数据输出延迟。因此分析并总结下锁表机制原理以及解决方式。 2.锁机制及原理分析 Hive 目前主要有两种锁，SHARED（共享锁 S）和 Exclusive（排他锁 X），同时又分表锁与分区锁，分区锁为最小粒度；共享锁 S 和 排他锁 X 它们之间的兼容性矩阵关系如下： .
hive-exec-1.1.0配置spark引擎
03-30
2. 在Hive配置文件hive-site.xml中添加以下属性： ``` <name>hive.execution.engine <value>spark ``` 3. 在Spark配置文件spark-defaults.conf中添加以下属性： ``` spark.master yarn-client spark.yarn....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值