CDH中配置hive支持update delete

最新推荐文章于 2022-10-10 21:01:36 发布
最新推荐文章于 2022-10-10 21:01:36 发布
阅读量232 收藏
点赞数
分类专栏： CDH中配置hive支持update delete 文章标签： hive big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43688472/article/details/119916270
版权

cdh hive支持update delete参数配置方法

以下配置项必须被设定：

   Client端：

hive.support.concurrency – true
hive.enforce.bucketing – true
hive.exec.dynamic.partition.mode – nonstrict  
hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager  

     服务端：

hive.compactor.initiator.on – true
hive.compactor.worker.threads – 1
hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

服务端配置在hive服务范围最后部分，客户端配置在gateway服务设置中。

最终配置如下

在这里插入图片描述

在这里插入图片描述

墨卿风竹
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive update和delete报错Attempt to do update or delete using transaction manager
victorzzzz的专栏
08-17 1万+
转载自@levy_cui 默认在hive中没有默认开启支持单条插入（update）、更新以及删除（delete）操作，需要自己配置。而在默认情况下，当用户如果使用update和delete操作时，会出现如下情况： hive>update dp set name='beijing' where id=1159; FAILED:SemanticException [Error1029...
Attempt to do update or delete on table db1.table1 that is not transactional解决
微电子学与固体电子学-俞驰
12-18 3870
在datagrip尝试对hive中的表格进行删除,碰到了这么个问题 Attempt to do update or delete on table db1.table1 that is not transactional 官方依据是[2],也就是说支持事务操作需要设置一大堆东西. Reference: [1]Hive Transactions [2]hive0.14-insert、update、delete操作测试 [3]CDH5.4.10 在Hive上执行Update,Delete操作报错Attempt
Hive不支持update、delete解决方案
保持开放的心态，坚定技术信仰，持之以恒，与日俱进！
09-09 8508
Hive ACID 要实现update和delete功能，该表就必须支持ACID，而支持ACID，就必须满足以下条件： 表的存储格式必须是ORC（STORED AS ORC）； 表必须进行分桶（CLUSTERED BY (col_name, col_name, …) INTO num_buckets BUCKETS）； Table property中参数transactional必须设定为True（tblproperties(‘transactional’=‘true’)）；
hive 异常 （Attempt to do update or delete on table terminal that does not use an ）
chengqiao5072的博客
02-07 1373
hive 异常 （Attempt to do update or delete on table terminal that does not use an ） hive > delete from terminal where 1=1 ; 出现以...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
hive2.1.1-cdh6.3.2
05-08
hive JDBC jar包全家桶。由于项目使用，此jar包从国外下载费了好大劲，现分享给大家。 cdh6.3.2版本的
CDH6.3.2的Hive JDBC驱动
07-13
CDH安装后各种jar包在一起，有时用hive的standalone包，发现有包冲突，所以探索了用非standalone包的方式。亲测这些jar包可用于Datart的连接hive。
使用IDEA工具连接CDH集群里面的hive组件
10-06
IDEA工具 连接CDH集群里面的hive组件 亲自测试通过 可以连接使用
cdh继承tez引擎 cdh添加tez引擎 hive引擎增加
07-07
包括pom修改的每个截图和配置,该文档从有道云笔记到处略加修改,其中pom内容格式需要你手动调整一下. 富含 大量截图帮助定位和配置. 含hive on tez 常见报错的解决方法. tez比spark更省心. spark容易出现内存问题.
Hive表删除数据不支持使用Delete From...
木易巷的小博客
10-10 6458
org.apache.hadoop.hive.ql.parse.SemanticException:Attempt to do update or delete using transaction manager that does not support these operations.
hive执行更新和删除操作
weixin_34352005的博客
07-12 899
 Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。 一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Apache Kafka这样的工具将流数据灌入Hadoop集群。当这些工具以每秒数百行的频率写入时，H...
CDH5.4.10 在Hive上执行Update,Delete操作报错Attempt to do update or delete using transaction manager that doe
fz1989的专栏
08-24 7299
在Hive上执行事务操作(增、删、改、查)出现FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does not support these operations.错误 已被周知的是Hive从0.14版开始支持事务操作，而CDH5.4.10总
CDH 6.3.1 Hive对update delete支持
ifeng
08-14 265
文章目录Hive update insert 发展1 Web配置服务端客户端重启Hive服务测试Hive ACID的理解 Hive update insert 发展 1 Web配置 服务端 hive.compactor.initiator.on – true hive.compactor.worker.threads – 1 hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager 客户端 hive.support.concur
【SQL】Attempt to do update or delete using transaction manager that does not support these operations
Asher117的博客
07-20 3266
在Hive SQL中执行update或者delete语句，报错： FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does not support these operations 通过查询资料得知，原因是hive中默认没有开启update和delete操作。如果要执行上述操作，需要自己配置。 ...
cdh hive支持update delete参数配置方法
weixin_38507462的博客
12-07 550
以下配置项必须被设定： Client端： hive.support.concurrency–true hive.enforce.bucketing–true hive.exec.dynamic.partition.mode–nonstrict hive.txn.manager–org.apache.hadoop.hive.ql.lockmgr.DbTxnManag...
cdh hive增加Update、Delete支持
shengpli′s blog
05-08 407
一、配置hive-site.xml CDH版本先进入Hive配置页，选择高级， 如果使用的Hive Cli使用hive-site.xml 的 Hive 客户端高级配置代码段（安全阀） 如果使用的beeline ，使用hive-site.xml 的 Hive 服务高级配置代码段（安全阀） 点击+号，增加如下配置项 hive.support.concurrency = true hive.enfo...
Attempt to do update or delete using transaction manager that does not support these operations
热门推荐
飞朋的博客
10-14 1万+
背景说明 删除只能在支持ACID的表上执行。 ACID 代表数据库事务的四个特征： 原子性(手术完全成功或失败,它没有离开部分数据) 一致性(一旦应用程序执行一个操作,操作的结果是可见的在每个后续操作) 隔离(由一个用户一个不完整的操作不会引起意想不到的副作用为其他用户) 持久性(一个操作完成后它将被保留下来即使面对机器或系统故障)。 长期以来，人们期望数据库系统具有这些特性，并将其作...
cdh6.2 配置hive
最新发布
05-16
在 CDH 6.2 中配置 Hive，需要执行以下步骤： 1. 安装 MySQL 或 MariaDB 数据库，并创建一个新的数据库和用户，用于 Hive 元数据存储。 2. 在 Hive 配置文件中设置元数据存储的 JDBC 连接参数。打开 `/etc/hive/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值