背景
decimal进行相关计算的时候精度会缺失,比如 字段a decimal(38,18) 字段b decimal(38,18)
a+b 产生的数据类型就是出现decimal(38,17) 这种情况
解决
在spark.2.3.2 版本以上确实会出现以上的问题
解决办法是添加配置
spark.sql.decimalOperations.allowPrecisionLoss false
这个参数默认是true 就是允许精度缺失,改成false可以解决这个问题
参考文件
:https://issues.apache.org/jira/browse/SPARK-27089?page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel&focusedCommentId=16787374#comment-16787374