hive join关联字段，两边不一致导致的问题

已于 2022-10-24 12:05:52 修改
阅读量1.1k 收藏 1
点赞数 1
分类专栏： hive 文章标签： 1024程序员节 hive 大数据 big data 数据仓库
于 2022-10-24 11:33:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36039236/article/details/127489160
版权
hive sql字段关联类型不一致时，两边都会转换成double类型

可以使用explain查看一下执行计划，发现会使用UDF函数将两边的字段都转成double, 由于double类型精度问题，可能导致最终关联的结果和预期不符，数据可能会出现重复，也可能出现关联不上的情况。
UDF

注: spark sql不会转成double, 但也会进行数据类型转换，比如string和bigint类型，string类型的字段会转成bigint，再进行关联，具体可以看一下执行计划

Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 727
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
Hive学习之Union和子查询
热门推荐
skyWalker_ONLY
09-15 2万+
Hive中的Union查询已经使用过多次，但在使用之前都没有系统的学习过Union的语法格式（虽然在使用过程中没有出现过问题），所以现在将这一点补上。Union的语法格式如下：
HIVE关联key数据类型不一致导致数据重复
Angelina7的博客
08-13 707
结论：字段类型不一致，关联时将key转为double，导致精度丢失 示例：select cast(186994576061124660 as double)和select cast(186994576061124559 as double)结果都是1.86994576061124672E17 导致最终mapping结果重复 解决方法：需要将id转为string，修改后执行计划见图2 ...
hive sql join 时字段类型不一致问题
weifengs 的博客
06-13 7480
在用hive sql 查询数据时会遇到 两个表通过字段join，假如两个字段类型不一样，有可能出现莫名其妙的结果。 解决方法： 将2个字段类型转成一样。比如 两个表通过id关联， 一个是 string 一个是 int，可以将 string 转成int  eg: (cast id as int) as id
hive join 条件类型不同问题
LXN的色彩
08-08 1425
当使用hive或其他搜索引擎进行join操作时，要确保on的条件左右两边的类型一致，否则会出现很多莫名其妙的问题或结果。 比如： t1表 字段 类型 id bigint name string t2表 字段 类型 voucher_id string age int 在full join的过程中，采用t1.id=t2.voucher_id可能导致出现意...
Apache Hive 联邦查询（Query Federation）
Hadoop技术博文
03-26 1666
本文原文（点击下面阅读原文即可进入） https://www.iteblog.com/archives/2524.html。如今，很多公司可能会在内部使用多种数据存储和处...
hive：left join存在关联字段不等
ziyin_2013的博客
05-29 1018
问题 在hive中用left join关联两个表，结果中存在关联字段不等的情况，如下图关联结果中的第2、3行。 原因排查 经排查发现，a.other_apply_id与b.data_id的数据类型不同，a.other_apply_id字段类型为string，b.data_id字段类型为bigint，可能是字段数据类型不同导致的。 解决方法 将两个字段a.other_apply_id与b.data_id数据类型都强转成string型。 ps：初衷是通过撰写博文记录自己所学所用，实现知识的梳理与积累；将.
【Hive】Hive Join 介绍
w1992wishes的博客
08-13 1156
文章目录一、Join二、Join 类型2.1、INNER JOIN 内连接2.2、LEFT OUTER JOIN 左外连接2.3、RIGHT OUTER JOIN 右外连接2.4、FULL OUTER JOIN 全外连接2.5、LEFT SEMI JOIN 左半开连接2.6、JOIN笛卡尔积三、Join 的实现原理3.1、Common Join3.2、Map Join四、Join 优化4.1、BU...
hive中表关联时null和‘’的问题
tanhaidi的博客
03-29 4673
在hive开发过程中，我们经常会有这样的疑问，a表关联b表，我想找到a表中的键在b表中不存在的数据，这时候用a表左连b表，然后where条件中加入b.flied is null。 但是细心的人会有这样的疑问，两个表关联之后，如果关联不上，b表字段的返回值真的都是null吗？？？ 下面我们来做个测试，测试表tmp.tmp_citys，表结构如下： 表中的数据： sql： select t1.ci...
Hive学习笔记（更新中）
TheEvil7的博客
11-27 548
Hive学习 1、Hive数据类型 1.1、基本数据类型 数据类型 所占字节 开始支持版本及描述 TINYINT 1字节（8位）有符号整数 1 SMALLINT 2字节（16位）有符号整数 1 INT 4字节（32位）有符号整数 1 BIGINT 8字节（64位）有符号整数 １ FLOAT 4字节（32位）单精度浮点数 1 DOUBLE 8字节（64位）双精度浮点数 1 BOOLEAN true/false TRUE STRING 字符串 ‘xia’，“xia”
HIVE当中的关联查询
科多大数据的博客
05-29 3873
在hive中没有外键和主键之分。但是可以进行多表关联查询（值关联）。只要这两个值相等就可以作为关联条件，其实在mysql中也是支持。mysql中的关联查询left join 左连接right join 右连接innerjoin  全连接、内连接============t_userid name1 zs2 ls3 wwCREATE  TABLE t_user(id int,name string) ...
hive left join 字段不一致
MusicDancing的博客
05-09 1340
两个hive表left join时，由于关联字段类型不同导致的数据错误（bigint、string），结果会多出来一批数据。 select a.id as id1 ,b.id as id2 from table1 a left join table2 b on a.id = b.id where a.id = '1257829907772824682' -- 1257829907772824682 1257829907772824682 -- 1257829907772824682 12578299
由于LEFT JOIN错误使用导致的数据不一致问题
resemble的博客
04-04 6150
msyql语句执行顺序 代码的执行顺序： from... where...group by... having.... select ... order by... hive 语句执行顺序 大致顺序 from... where.... select...group by... having ... order by... LEFT JOIN有一个作用就是用于去除表A中表B的数据，现在我...
hive的几种join到底有何区别
weixin_46429290的博客
03-08 3920
hive中，几种join的区别 数据： tom,1 jey,2 lilly,7 lilly,8 tom,1 lilly,3 may,4 bob,5 以上两个为数据，没有什么意义，全是为了检测join的使用 看一下两张表，其实可以看出来，在name一行有重复的，也有不重复的，在id一行1表完全包含2表 left join left join会把左边的表所有数据列出来，当左边表有而右边表没有的时候，就会用null代替 select * from jn1 left join jn2 on jn1.name
Join时数据类型不一致导致的倾斜
小道的博客
07-02 2610
  本篇以hive sql解析器来讨论问题，spark sql 的处理方法类似，大家可自行测试。   在进行join操作时，有mapjoin和hashjoin两个大类。mapjoin需要的是一个大表和一个小表进行join，小表存于内存中，对大表进行遍历，不会产生数据倾斜。   如果是大表join大表，在内存中放不下，便会对两张表join的字段求hash值，然后将hash值相同的数据放入同一个reduce或者同一个spark分区进行处理，这样join条件相同的内容就能放在一起处理了。若得到的某个hash值比例
Hive学习之路-关联表（Join）
qq_25100219的博客
03-23 1998
本篇文章主要研究下Hive里面的Join操作，Hive关联可以细分为四种，如下所示： 内关联：join on 左关联：left join on 右关联：right join on 全关联：full join on 1.内关联（join on） 语法：select * from table1 join table2 on table1.id = table2...
Hive1.1.0升级至2.3.6 踩坑记录
Deegue
12-20 4217
1、union all 左右字段类型不匹配 Hive尝试跨Hive类型组执行隐式转换。隐式转换支持类型如下表： 例： hive> select 1 as c2, 2 as c2 > union all > select 1.0 as c1, "2" as c1; FAILED: SemanticException Schema of both sides ...
Hive bigint类型和string类型关联可能导致数据异常
weixin_42496757的博客
03-29 3499
在hive中，两个表进行join，on条件两表的字段含义一致（都是整数），但数据类型不一致：string和bigint。join后发现如果数值过大则匹配的记录会出现问题：一条记录会匹配出多条记录（explain可以发现都转换为double） 如：190000000002778025，就会错误的匹配上*8023 ，*8025 a）原因：Java中精度只有15至16位，当数据超过精度就会不准——也就会出现超过精度的记录join上许多不一致的记录。 bigint和string比较时会隐式地都转换成doubl
Hive string join int -＞ double / (string + int ) join int -＞ double
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-14 931
非数字的string转为double后变为NULL，如果不对NULL做处理的话，NULL值会输入到一个Reduce中，容易导致数据倾斜！ 1 string join int -> double，2个字段都会转化成double(非数字的string值会转化为NULL) > explain > select t1.c1,t2.c1 > from ( > select '1' as c1 > > union all .
解决Sqoop导入Hive数据不一致问题
6. **Hive表结构问题**：在创建Hive表时，如果字段数据类型或者字段顺序与原始数据不匹配，也会导致导入的数据不一致。 7. **源数据问题**：原始关系数据库中的数据可能存在空值或重复记录，这些数据问题在导入到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雾岛与鲸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值