hive中实现merge into

低版本的hive中有很多函数或者语句不支持使用,比如merge into就是一个。
比如有两表

表一:testtable1             
包含以下字段:               
            name
            project
			projectid
			grademath
			yearq
			monthq
			dayq
表二:testtable2
包含以下字段:
			name 
			grade
			gradeid
			math
			chinese
			english

如果在oracle中出现以下语句:

merge into dw.testtable1 t
using (
  select 
      t1.name name,
      t1.grade grade,
      t1.gradeid gradeid,
      t1.math math
      from testtable2 t1
)s 
on (t.projectid=s.gradeid)
when matched then
  update set t.grademath=s.math  

在hive中可以改成

with q1 as (
  select 
        t1.math,
        t1.gradeid
        from testtable2 t1
)

insert overwrite TABLE testtable1
select 
    t1.name,
    t1.project,
    t1.projectid,
    nvl(t.math,t1.grademath),
    t1.year,
    t1.month,
    t1.day
    from testtable1 t1
    left join q1 t on t1.projectid=t.gradeid
  
简化的话还可以
insert overwrite TABLE testtable1
select 
    t1.name,
    t1.project,
    t1.projectid,
    nvl(t.math,t1.grademath),
    t1.year,
    t1.month,
    t1.day
    from testtable1 t1
    left join (select 
        tt.math,
        tt.gradeid
        from testtable2 tt) t on t1.projectid=t.gradeid
  • 5
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
在OracleMERGE INTO语句可以将数据从一个表复制到另一个表,同时执行插入、更新和删除操作。如果你想要在Hive实现类似的功能,可以使用INSERT OVERWRITE语句和Hive的JOIN操作。 假设你有两个Hive表:table1和table2,它们具有相同的列名称和数据类型。你可以按照以下步骤使用INSERT OVERWRITE和JOIN来实现类似于Oracle MERGE INTO语句的操作: 1. 首先使用INSERT OVERWRITE语句将table2的数据覆盖到table1: ``` INSERT OVERWRITE TABLE table1 SELECT t2.* FROM table2 t2; ``` 2. 接下来,使用LEFT OUTER JOIN和WHERE子句来查找需要更新的记录: ``` UPDATE table1 SET column1 = t2.column1, column2 = t2.column2, ... FROM table1 t1 LEFT OUTER JOIN table2 t2 ON t1.key_column = t2.key_column WHERE t2.key_column IS NOT NULL; ``` 这将使用table2匹配的行更新table1的行。请注意,我们在LEFT OUTER JOIN使用了WHERE子句来查找匹配的行,并排除了那些没有匹配的行。 3. 最后,使用NOT EXISTS和INSERT INTO语句来插入在table1不存在的新行: ``` INSERT INTO TABLE table1 SELECT t2.* FROM table2 t2 WHERE NOT EXISTS ( SELECT 1 FROM table1 t1 WHERE t1.key_column = t2.key_column ); ``` 这将从table2选择那些在table1不存在的记录,并将它们插入到table1。 需要注意的是,Hive的INSERT OVERWRITE和INSERT INTO语句不能在同一个语句使用,因此我们必须将它们分开使用。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值