Maxcompute-UNION数据类型对齐的方法

文章讲述了在MaxCompute升级过程中遇到的UNION操作隐式类型转换问题,指出不同数据库系统的转换规则差异,并提供了通过执行计划快速定位类型不匹配字段的方法。作者分享了解决该问题的思路,包括利用执行计划查看输出数据类型,以及设置警告信息显示隐式转换警告。此外,还提出了一些其他相关问题的解决方案,强调了良好的数据标准化和前期准备的重要性。
摘要由CSDN通过智能技术生成

第1章 问题概述

1.1 UNION中隐式类型转换问题

近期参与的一个私有云项目要升级,因为maxcompute要升级到更新的版本,对之前的一些SQL写法有个更高的要求,就引出了这个union隐式转换的问题。运维同学扫描到内部的异常是:
union.string.meet.non.string。 在ODPS某些模式中在union两侧对应列如果类型不同时会尝试隐式类型转换,其行为是一边为string,另一边为数字或datetime类型时,转为另一边的类型(string)。然而绝大多数的数据库或者开源生态而言,使用的都不是这种转换规则,比如hive,mysql等会优先转成string。这种不确定的转换规则有时候会很危险,如用户从hive往odps迁移时,可能会导致无声无息的精度损失,语义错误等。 ODPS2.0为了安全禁止此隐式类型转换(这也是目前oracle的默认行为),如果需要请使用CAST函数。(之前好好的,现在要报错了)所以现在项目组要求脚本作者检查自己脚本,明确要转到的类型,如果需要加入显式转换。

例:

select * from (--(错误)select a_bigint c1 from t1 union allselect a_string c1 from t2) x;  

-- 如果希望结果c1为bigint类型(这是目前ODPS的行为),改为

select * from (--(正确)select a_bigint c1 from t1  union all select cast(a_string as bigint) c1 from t
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值