HIVE关联key数据类型不一致导致数据重复

最新推荐文章于 2022-12-30 18:41:36 发布
最新推荐文章于 2022-12-30 18:41:36 发布
阅读量626 收藏 1
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Angelina7/article/details/119670998
版权
本文揭示了HIVE中由于字段类型不一致，特别是在将key转换为double时，可能导致数据精度丢失并引起重复的问题。举例说明了cast操作如何在特定数值上产生相同结果，并提出了解决方案——将id字段转换为string类型。
摘要由CSDN通过智能技术生成

结论：字段类型不一致，关联时将key转为double，导致精度丢失

示例：select cast(186994576061124660 as double) 和select cast(186994576061124559 as double)结果都是1.86994576061124672E17 导致最终mapping结果重复

 

 解决方法：需要将id转为string，修改后执行计划见图2

 

Teresa7
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HIVE中关联键类型不同导致数据重复，以及数据倾斜
帅成一匹马
01-22 568
比如左表关联键是string类型，右表关联键是bigint类型，关联后会出现多条的情况。
[一起学Hive]之十一-Hive中Join的类型和用法
tony的专栏
05-06 782
Hive中除了支持和传统数据库中一样的内关联、左关联、右关联、全关联，还支持LEFT SEMI JOIN和CROSS JOIN，但这两种JOIN类型也可以用前面的代替。 注意：Hive中Join的关联键必须在ON ()中指定，不能在Where中指定，否则就会先做笛卡尔积，再过滤。 数据准备： hive> desc lxw1234_a;OKid
hive sql join 时字段类型不一致问题
weifengs 的博客
06-13 7328
在用hive sql 查询数据时会遇到 两个表通过字段join，假如两个字段类型不一样，有可能出现莫名其妙的结果。 解决方法： 将2个字段类型转成一样。比如 两个表通过id关联， 一个是 string 一个是 int，可以将 string 转成int  eg: (cast id as int) as id
hive join中出现的数据暴增（数据重复）
程老师的博客
08-03 1970
我们常常因为数据重复问题造成困扰，本文详细介绍了数据重复造成的原因和解决方案
hive join 条件类型不同问题
LXN的色彩
08-08 1329
当使用hive或其他搜索引擎进行join操作时，要确保on的条件左右两边的类型一致，否则会出现很多莫名其妙的问题或结果。 比如： t1表 字段 类型 id bigint name string t2表 字段 类型 voucher_id string age int 在full join的过程中，采用t1.id=t2.voucher_id可能导致出现意...
SparkSQL overwrite插入Hive表数据重复问题
qq_654603797
11-07 4692
问题描述 使用Spark SQL将DataFrame调用其API overwrite写入Hive，如果存在多个任务同时往一张hive表overwrite，那么会导致只有其中一个任务成功，另外其他的任务都失败的问题，并且写入的结果存在同一张表有重复的行 链接：https://www.jianshu.com/p/26467e77fa16 (7条消息) SparkSQL并发写入orc、parquet表的异常问题排查_u013332124的专栏-CSDN博客 ...
Hive优化方法整理
06-13
处理不同数据类型关联产生的数据倾斜 1. 对于用户表中 user_id 字段为 int，log 表中 user_id 字段既有 string 类型也有 int 类型。 2. 解决方法：把数字类型转换成字符串类型，使用 cast 函数进行类型转换。 Hive...
HIVE函数参考手册.docx
05-14
- Hive支持复杂数据类型，如map、struct和array。`map(key1, value1, key2, value2, …)`用于创建键值对集合，`struct(val1, val2, val3, …)`创建结构，`array (val1, val2, …)`创建数组。 3. 操作复杂类型函数...
Hive用户指南(Hive_user_guide)_中文版
10-07
- **8.1 字符集**：确保源数据和Hive中的字符集一致。 - **8.2 压缩**：合理选择压缩算法，提高存储效率和查询速度。 - **8.3 count(distinct)**：使用`APPROX_COUNT_DISTINCT`代替`COUNT(DISTINCT)`以提高性能。 - ...
Python大数据处理库 PySpark实战-源代码.rar
04-15
- 读取数据：可以从多种数据源（如HDFS、Cassandra、Hive等）加载数据到DataFrame，例如`spark.read.csv()`。 - 写入数据：将处理后的结果保存回磁盘或数据仓库，如`df.write.parquet()`。 5. PySpark数据处理： ...
一个hive遇到的问题（两表关联，两表中关联字段唯一，关联结果表中不唯一）
曹健的博客
05-22 5791
记录一个hive中遇到的很有意思的问题，首先我建了两张临时表，最终要把两张表关联起来的时候，发现：两张表中的关联字段都是唯一的，关联之后关联字段竟然不唯一了！关联方法用的left join。检验sql如下： SELECT project_id, COUNT(1) AS num FROM tmp.remote_monitor_5 GROUP BY project_id HAVING num &gt...
hive表关联结果异常问题
沙漠的飞鱼
08-10 1890
sql： select a.order_code,b.order_id from (select order_code from ods.ods_lsh_oms_order_head where dt = '2018-08-05' group by order_code) a join (select order_id from default.mds_lsh_trade_ord...
【Hive】数据去重
weixin_30306905的博客
04-10 156
实现数据去重有两种方式 ：distinct 和 group by 1.distinct消除重复行 distinct支持单列、多列的去重方式。 单列去重的方式简明易懂，即相同值只保留1个。 多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息。 (1)作用于单列 　　select distinct name from A //对A表的na...
vue表格显示值不对
weixin_45682701的博客
07-18 434
问题一个页面我写了两个表格来回切换，但是这时候另一个表格值就不太对了，展示的和代码写的不一样。原因key值与另一个表格重复导致。解决将key设置为不一样的值。
hive 如何去除两个表相同的部分
枫夜
05-22 8470
问题场景 在项目开发当中，有时候需要配合用户出报表数据。这一部分是一个难题，因为数据量大，运行时间比较长，所以就需要慎重地写SQL，保证问题的顺利解决。而这次是需要去除同一个表的两部分数据的相同部分。 解决思路 将同一个表的两部分数据分别抽离出来做一个表，使用left outer join来关联两个表，然后将相同字段的条件放在on里面，然后将另一个表的相同字段为空的条件放在where里面...
【前端踩坑】elementUI表格el-table数据排序/更新后，不重新渲染（页面数据不更新）
weixin_44649384的博客
12-30 4978
查看element文档，数据需要设置key，但是用el-table提供的row-key不太好用。这里预测是，前后数据内容一致，dom不更新，可能是为了提升页面性能。给table增加一个随机key，每次重新赋值tableData的时候，也传递随机key值，这样页面就可以重新渲染el-table了。前端页面选择重新排序，重新向后端请求数据，排序规则改变但数据内容不不变，表格数据不重新渲染。
hive left join 丢失数据
大风车
08-30 6617
最近在写hql取数据的时候，发现不同的写法会模糊left join 和 join，使得得出的结果不是预期的。 分别列出三段hql供参考： 1、下面是第一段hql，将相关联的两张表（or 多张表）的条件都写在最后的where下： select a.cola1,a.cola2,b.colb1 from tablea a left join tableb b on a.id=b.id where and a.dt='20200826' and b.dt='20200826' ; 结果：这样的写法会使
hive关联数据类型不同为什么会残生倾斜
最新发布
06-05
Hive关联数据类型不同会导致倾斜的原因是因为在进行Join操作时，Hive需要将两个表中的数据进行比较，如果数据类型不同，需要进行数据类型转换，这个过程会增加计算量，导致某些节点的计算任务较重，从而出现任务倾斜。 另外，如果关联的两个表中某个表的数据分布不均匀，也会导致倾斜。例如，如果一个表中的某个关键字出现的频率非常高，而另一个表中的该关键字出现的频率很低，那么进行Join操作时，某些节点需要处理的数据会非常多，从而导致任务倾斜。 为了避免Join操作的倾斜，我们可以采取一些措施，例如：对数据类型进行转换，使用Join的优化方法（如Map Join、Bucket Map Join等），对表进行拆分等。同时，我们可以使用一些工具（如Tez、Spark）来优化Hive的执行计划，提高Join操作的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值