hive多个源表同时插入目标表会不会出现并发写报错?

1.业务上有需求需要并发读取多个来源表,然后插入到目标表,询问是否会有啥报错?

2.第一感觉是可能会发生并发写报错,然后进行测试。

3.准备数据1G(太少看不到过程),按行划分

4.建立三张表test1.,test2,test3

create table test1(id string);
create table test2(id string);
create table test3(id string);

5.test1,test2为来源表,test3为目标表

6.首先test1,test2load数据

7.然后打开两个窗口,同时执行insert select操作

insert   into table test3 select * from test1 where id != "";
insert   into table test3 select * from test2 where id != "";

8.执行期间在打开一个窗口查看test3表的hdfs路径下文件变化

首先会有两个临时目录产生,对应两个job的各自目录

 执行完成后观察变为如下:

9.再次执行两次insert,执行完,再次管擦test3hdfs目录,如下

10.结论 :hive多表并发插入一张表的时候,加入是在同一个分区下,会验证文件名000000_0,是否存在,若存在最后会输出到000000_0_copy_1,以此类推;若某张表数据来源较多,同时发现不存在文件名000000_n,则会写到文件名000000_0;即整个过程没有发生并发写问题。

  • 1
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:书香水墨 设计师:CSDN官方博客 返回首页
评论

打赏作者

人蠢多读书

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值