Maxcompute-UNION数据类型对齐的方法

本文介绍了在Maxcompute中遇到UNION操作时的隐式类型转换问题,特别是当从Hive迁移数据时可能遇到的精度损失和语义错误。文章详细讨论了如何通过执行计划定位数据类型不一致的字段,并提供了多种解决方案,包括利用执行计划的输出Schema进行比较、在Excel中筛选对比以及处理日期转换和NULL值的方法。此外,还提到了一种显示警告信息的方法以暴露更多隐式转换问题。
摘要由CSDN通过智能技术生成

第1章 问题概述

1.1 UNION中隐式类型转换问题

近期参与的一个私有云项目要升级,因为maxcompute要升级到更新的版本,对之前的一些SQL写法有个更高的要求,就引出了这个union隐式转换的问题。运维同学扫描到内部的异常是:
union.string.meet.non.string。 在ODPS某些模式中在union两侧对应列如果类型不同时会尝试隐式类型转换,其行为是一边为string,另一边为数字或datetime类型时,转为另一边的类型(string)。然而绝大多数的数据库或者开源生态而言,使用的都不是这种转换规则,比如hive,mysql等会优先转成string。这种不确定的转换规则有时候会很危险,如用户从hive往odps迁移时,可能会导致无声无息的精度损失,语义错误等。 ODPS2.0为了安全禁止此隐式类型转换(这也是目前oracle的默认行为),如果需要请使用CAST函数。(之前好好的,现在要报错了)所以现在项目组要求脚本作者检查自己脚本,明确要转到的类型,如果需要加入显式转换。

例:

select * from (--(错误)select a_bigint c1 from t1 union allselect a_string c1 from t2) x;  

-- 如果希望结果c1为bigint类型(这是目前ODPS的行为),改为

select * from (--(正确)select a_bigint c1 from t1  union all select cast(a_string as bigint) c1 from t
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值