hive增加Update、Delete支持

最新推荐文章于 2024-05-23 09:18:37 发布
最新推荐文章于 2024-05-23 09:18:37 发布
阅读量4.1k 收藏 10
点赞数 3
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36864672/article/details/81868824
版权

一、配置hive-site.xml

CDH版本先进入Hive配置页 
 
选择高级，找到hive-site.xml 的 Hive 客户端高级配置代码段配置项 
 
点击+号，增加如下配置项

 
  1. hive.support.concurrency = true
  2. hive.enforce.bucketing = true
  3. hive.exec.dynamic.partition.mode = nonstrict
  4. hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
  5. hive.compactor.initiator.on = true
  6. hive.compactor.worker.threads = 1

 
然后点击保存更改，分发配置就可以了。

二、建表

如果要支持delete和update，则必须输出是AcidOutputFormat然后必须分桶。 
而且目前只有ORCFileformat支持AcidOutputFormat，不仅如此建表时必须指定参数('transactional' = true) 
如

 
  1. USE test;
  2. DROP TABLE IF EXISTS S1_AC_ACTUAL_PAYDETAIL;
  3. CREATE TABLE IF NOT EXISTS S1_AC_ACTUAL_PAYDETAIL
  4. (
  5. INPUTDATE STRING,
  6. SERIALNO STRING,
  7. PAYDATE STRING,
  8. ACTUALPAYDATE STRING,
  9. CITY STRING,
  10. PRODUCTID STRING,
  11. SUBPRODUCTTYPE STRING,
  12. ISP2P STRING,
  13. ISCANCEL STRING,
  14. CDATE STRING,
  15. PAYTYPE STRING,
  16. ASSETSOWNER STRING,
  17. ASSETSOUTDATE STRING,
  18. CPD DOUBLE,
  19. PAYPRINCIPALAMT BIGINT,
  20. PAYINTEAMT BIGINT,
  21. A2 BIGINT,
  22. A7 BIGINT,
  23. A9 BIGINT,
  24. A10 BIGINT,
  25. A11 BIGINT,
  26. A12 BIGINT,
  27. A17 BIGINT,
  28. A18 BIGINT,
  29. PAYAMT BIGINT,
  30. LOANNO STRING,
  31. CREATEDATE STRING,
  32. CUSTOMERID STRING,
  33. etl_in_dt string
  34. )
  35. CLUSTERED BY (SERIALNO) --根据某个字段分桶
  36. INTO 7 BUCKETS --分为多少个桶
  37. ROW FORMAT DELIMITED
  38. FIELDS TERMINATED BY ','
  39. LINES TERMINATED BY '\n'
  40. STORED AS ORC
  41. LOCATION '/user/hive/test/S1_AC_ACTUAL_PAYDETAIL'
  42. TBLPROPERTIES('transactional'='true');--增加额描述信息，比如最后一次修改信息，最后一个修改人。

注：由于cdh自动的在元数据里面创建了COMPACTION_QUEUE表，所以博客中说的那个问题不存在 

三、操作

执行

 
  1. update test.S1_AC_ACTUAL_PAYDETAIL set city='023' where SERIALNO = '20688947002';

操作100条数据，平均每条花费2秒多，其中执行花费1秒左右。相对还是能接受的。

 
  1. delete from test.S1_AC_ACTUAL_PAYDETAIL where SERIALNO = '20688947002';

四、总结

  • 1、Hive可以通过修改参数达到修改和删除数据的效果，但是速度远远没有传统关系型数据库快
  • 2、通过ORC的每个task只输出单个文件和自带索引的特性，以及数据的分桶操作，可以将要修改的数据锁定在一个很小的文件块，因此可以做到相对便捷的文件修改操作。因此数据的分桶操作非常重要，通常一些表单信息都会根据具体的表单id进行删除与修改，因此推荐使用表单ID作为分桶字段。
  • 3、频繁的update和delete操作已经违背了hive的初衷。不到万不得已的情况，还是使用增量添加的方式最好。

 

 

hive0.14-insert、update、delete操作测试

首先用最普通的建表语句建一个表：

 

hive>create table test(id int,name string)row format delimited fields terminated by ',';

 

测试insert：

insert into table test values (1,'row1'),(2,'row2');

结果报错：

 

 

 

  1. java.io.FileNotFoundException: File does not exist: hdfs://127.0.0.1:9000/home/hadoop/git/hive/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin/

  2. apache-hive-0.14.0-SNAPSHOT-bin/lib/curator-client-2.6.0.jar

  3. at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1128)

  4. at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1120)

  5. at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)

  6. at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1120)

  7. at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288)

  8. at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224)

  9. at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:99)

  10. at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57)

  11. at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:265)

  12. at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:301)

  13. at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:389)

  14. at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)

  15. at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)

  16. at java.security.AccessController.doPrivileged(Native Method)

  17. ......

貌似往hdfs上找jar包了，小问题，直接把lib下的jar包上传到hdfs

 

  1. hadoop fs -mkdir -p /home/hadoop/git/hive/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin/apache-hive-0.14.0-SNAPSHOT-bin/lib/

  2. hadoop fs -put $HIVE_HOME/lib/* /home/hadoop/git/hive/packaging/target/apache-hive-0.14.0-SNAPSHOT-bin/apache-hive-0.14.0-SNAPSHOT-bin/lib/

  3.  

 

接着运行insert，没有问题，接下来测试delete

 

hive>delete from test where id = 1;

报错！：

 

 

FAILED: SemanticException [Error 10294]: Attempt to do update or delete using transaction manager that does not support these operations.

说是在使用的转换管理器不支持update跟delete操作。

 

原来要支持update操作跟delete操作，必须额外再配置一些东西，见：

https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions#HiveTransactions-NewConfigurationParametersforTransactions

根据提示配置hive-site.xml:

 

 

  1. hive.support.concurrency – true

  2. hive.enforce.bucketing – true

  3. hive.exec.dynamic.partition.mode – nonstrict

  4. hive.txn.manager – org.apache.hadoop.hive.ql.lockmgr.DbTxnManager

  5. hive.compactor.initiator.on – true

  6. hive.compactor.worker.threads – 1

配置完以为能够顺利运行了，谁知开始报下面这个错误：

 

 

FAILED: LockException [Error 10280]: Error communicating with the metastore

与元数据库出现了问题，修改log为DEBUG查看具体错误：

 

 

 

  1. 2014-11-04 14:20:14,367 DEBUG [Thread-8]: txn.CompactionTxnHandler (CompactionTxnHandler.java:findReadyToClean(265)) - Going to execute query <select cq_id,

  2. cq_database, cq_table, cq_partition, cq_type, cq_run_as from COMPACTION_QUEUE where cq_state = 'r'>

  3. 2014-11-04 14:20:14,367 ERROR [Thread-8]: txn.CompactionTxnHandler (CompactionTxnHandler.java:findReadyToClean(285)) - Unable to select next element for cleaning,

  4.  Table 'hive.COMPACTION_QUEUE' doesn't exist

  5. 2014-11-04 14:20:14,367 DEBUG [Thread-8]: txn.CompactionTxnHandler (CompactionTxnHandler.java:findReadyToClean(287)) - Going to rollback

  6. 2014-11-04 14:20:14,368 ERROR [Thread-8]: compactor.Cleaner (Cleaner.java:run(143)) - Caught an exception in the main loop of compactor cleaner, MetaException(message

  7. :Unable to connect to transaction database com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.COMPACTION_QUEUE' doesn't exist

  8. at sun.reflect.GeneratedConstructorAccessor19.newInstance(Unknown Source)

  9. at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

  10. at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

  11. at com.mysql.jdbc.Util.handleNewInstance(Util.java:409)

在元数据库中找不到COMPACTION_QUEUE这个表，赶紧去mysql中查看，确实没有这个表。怎么会没有这个表呢？找了很久都没找到什么原因，查源码吧。

 

在org.apache.hadoop.hive.metastore.txn下的TxnDbUtil类中找到了建表语句，顺藤摸瓜，找到了下面这个方法会调用建表语句：

 

 

  1. private void checkQFileTestHack() {

  2. boolean hackOn = HiveConf.getBoolVar(conf, HiveConf.ConfVars.HIVE_IN_TEST) ||

  3. HiveConf.getBoolVar(conf, HiveConf.ConfVars.HIVE_IN_TEZ_TEST);

  4. if (hackOn) {

  5. LOG.info("Hacking in canned values for transaction manager");

  6. // Set up the transaction/locking db in the derby metastore

  7. TxnDbUtil.setConfValues(conf);

  8. try {

  9. TxnDbUtil.prepDb();

  10. } catch (Exception e) {

  11. // We may have already created the tables and thus don't need to redo it.

  12. if (!e.getMessage().contains("already exists")) {

  13. throw new RuntimeException("Unable to set up transaction database for" +

  14. " testing: " + e.getMessage());

  15. }

  16. }

  17. }

  18. }

什么意思呢，就是说要运行建表语句还有一个条件：HIVE_IN_TEST或者HIVE_IN_TEZ_TEST.只有在测试环境中才能用delete，update操作，也可以理解，毕竟还没有开发完全。

 

终于找到原因，解决方法也很简单：在hive-site.xml中添加下面的配置：

 

 

  1. <property>

  2. <name>hive.in.test</name>

  3. <value>true</value>

  4. </property>


OK,再重新启动服务，再运行delete：

 

 

hive>delete from test where id = 1;

又报错：

 

 

FAILED: SemanticException [Error 10297]: Attempt to do update or delete on table default.test that does not use an AcidOutputFormat or is not bucketed

说是要进行delete操作的表test不是AcidOutputFormat或没有分桶。估计是要求输出是AcidOutputFormat然后必须分桶

 

网上查到确实如此，而且目前只有ORCFileformat支持AcidOutputFormat，不仅如此建表时必须指定参数('transactional' = true)。感觉太麻烦了。。。。

于是按照网上示例建表：

 

hive>create table test(id int ,name string )clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='true');

insert

hive>insert into table test values (1,'row1'),(2,'row2'),(3,'row3');

delete

 

 

hive>delete from test where id = 1;

 

 

update

 

 

hive>update test set name = 'Raj' where id = 2;

 

 

OK!全部顺利运行，不过貌似效率太低了，基本都要30s左右，估计应该可以优化，再研究研究

 

最后还有个问题：show tables时报错：

 

 

  1. hive> show tables;

  2. OK

  3. tab_name

  4. Failed with exception java.io.IOException:java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: fcitx-socket-:0

  5. Time taken: 0.064 seconds

好像跟/tmp/下fcitx-socket-:0文件名有关，待解决。。。

首席撩妹指导官
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive（21）：DML之Update、Delete更新、删除数据
u013938578的博客
07-11 2496
首先，必须明确，你理解的Hive这款软件，定位是什么？是面向事务支持事务的RDBMS?还是面向分析，支持分析的数据仓库。这很重要。Hive是基于Hadoop的数据仓库，面向分析支持分析工具。因此在Hive中常见的操作的就是分析查询select操作。将已有的结构化数据文件映射成为表，然后提供SQL分析数据的能力。因此Hive刚出现的时候是不支持update和delete语法支持的，因为Hive所处理的数据都是已经存在的结构化文件，加载到hive表中即可。
Hive学习:Hive如何进行update?
nzbing的博客
05-23 8417
在hive中,没有直接的update语句,可以使用insert overwrite来覆盖原有表数据达到更新的效果。
Hive实现delete、update操作
早拾碗吧的博客
05-23 811
【代码】Hive实现delete、update操作。
hive 列转行_大数据，数据仓库，hive不能使用update更新操作解决方案
weixin_40000457的博客
12-01 706
在数据仓库建设，处理日常业务需求的过程中，经常会遇到各种各样的问题。在处理更新操作数据时，遇到数据重复问题。前期因为没考虑到关系型数据库update操作，把数据同步到hive时有数据重复问题，在业务日常报表分析时，带来很大困扰。今天就简单来说一下，遇到这样的场景该如何处理。其实只要用到hive的窗口函数即可解决。业务背景首先，要来谈谈为啥会遇到这个问题。如何不结合业务背景讨论这个问题，那...
hive 异常 （Attempt to do update or delete on table terminal that does not use an ）
knight_black_bob的专栏
12-30 3447
or 10297]: Attempt to do update or delete on table terminal that does not use an AcidOutputFormat or is not bucketed     解决方法 vim hive-site.xml   &lt;property&gt; &lt;name&gt;hive.enforce.bucketing&lt;/name&gt; &lt;value
Hive 不同版本中update更新操作 (merge into 有则更新，无则插入)
m0_38109926的博客
03-23 1万+
一、使用条件 hive2.2.0及之后的版本支持使用merge into 语法，使用源表数据批量目标表的数据。使用该功能还需做如下配置 1、参数配置 set hive.support.concurrency = true; set hive.enforce.bucketing = true; set hive.exec.dynamic.partition.mode = nonstrict; set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.Db
13-Hive基本操作1
08-08
Hive 0.14版本开始支持`UPDATE`和`DELETE`操作，但这些操作通常在支持ACID特性的表上进行，且不适用于所有Hive版本。由于Hive设计为批处理工具，频繁的更新和删除操作不是最佳实践。 10. **创建索引**： Hive支持...
大数据hive实现原理.zip_hive中怎么更新数据
01-07
Hive最初并不支持直接的UPDATE和DELETE操作，但随着版本的升级，Hive引入了ACID（原子性、一致性、隔离性、持久性）特性，使得更新数据成为可能。 Hive的ACID特性主要通过两种方式实现： 1. **transactional tables...
hive 表 dml 操作.zip
最新发布
06-22
在Hive中，DML主要包括INSERT、UPDATE、DELETE以及SELECT等操作，但需要注意的是，由于Hive的设计目标和架构，UPDATE和DELETE操作与传统SQL有所差异。 1. **INSERT**：这是最基础的数据插入操作。Hive 支持 INSERT ...
Hive-工具篇_hive_
10-04
- **更新和删除数据**：Hive不支持传统的UPDATE和DELETE操作，但可以通过INSERT OVERWRITE重写数据实现类似效果。 5. **Hive的查询语句** - **JOIN操作**：Hive支持内连接、外连接和交叉连接，可以对多个表进行...
Hive sql系统学习教程
06-24
5. **操作支持**: Hive支持多表插入、CREATE TABLE AS SELECT等SQL不支持的功能，但不支持SQL中的UPDATE、DELETE等修改表内容的操作。 6. **性能优化**: Hive查询通过MapReduce执行，可能比SQL慢，但能处理大数据量...
Hive实现update和delete
热门推荐
狂奔的蜗牛
02-27 5万+
因为业务要求，需要对Hive表进行delete，在官网查询后，发现update和delete是一类问题。在此总结下如何实现Hive表的delete和update。首先，先看下官网关于update和delete的相关说明，使用注意事项也请参考官网说明，这里只介绍如何实现相关功能。综合上述信息，Hive自0.14版本开始支持update和delete，要执行update和delete的表必须支持ACI...
解决Hive不支持delete、update问题
MiHu8123的博客
01-04 1636
2.要实现update和delete功能，该表就需要支持ACID（原子性、一致性、隔离性、持久性）支持，CLUSTERED BY(id) INTO 2 BUCKETS //表必须进行分桶。1.Hive是不支持事务的，所以也就无法支持DELETE和UPDATE操作。需要注意的是，启用ACID支持会增加额外的存储和性能开销，因此请合理使用。3.启用ACID支持。这通常需要在创建表时指定相应的属性。STORED AS ORC //表的存储格式必须是ORC。-- 删除指定条件下的记录。-- 更新指定条件下的记录。
Attempt to do update or delete on table db1.table1 that is not transactional解决
微电子学与固体电子学-俞驰
12-18 4049
在datagrip尝试对hive中的表格进行删除,碰到了这么个问题 Attempt to do update or delete on table db1.table1 that is not transactional 官方依据是[2],也就是说支持事务操作需要设置一大堆东西. Reference: [1]Hive Transactions [2]hive0.14-insert、update、delete操作测试 [3]CDH5.4.10 在Hive上执行Update,Delete操作报错Attempt
Hive总结 --hive表的创建，删除和修改
qq_42740899的博客
12-12 4245
hive 常用语句总结
NiFi实时同步MySQL binlog到Hive实践
在本文中，作者分享了一个具体的NiFi模板，用于处理MySQL数据库的binlog事件，这些事件可能包括INSERT、UPDATE和DELETE操作。MySQL的binlog是数据库更改的日志，它记录了所有对数据库进行的修改，这使得通过binlog...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值