spark遇到的decimal精度缺失的问题

最新推荐文章于 2023-10-11 10:44:25 发布
最新推荐文章于 2023-10-11 10:44:25 发布
阅读量3.4k 收藏 4
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zeng6325998/article/details/105264522
版权

背景

decimal进行相关计算的时候精度会缺失，比如 字段a decimal(38，18) 字段b decimal(38,18)
a+b 产生的数据类型就是出现decimal(38,17) 这种情况

解决

在spark.2.3.2 版本以上确实会出现以上的问题
解决办法是添加配置

spark.sql.decimalOperations.allowPrecisionLoss false

这个参数默认是true 就是允许精度缺失，改成false可以解决这个问题

参考文件

:https://issues.apache.org/jira/browse/SPARK-27089?page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel&focusedCommentId=16787374#comment-16787374

https://cloud.tencent.com/developer/news/483615

早点起床晒太阳
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sql server中的decimal或者numeric的精度问题
09-11
在sql server中定义列的数据类型decimal时需要制定其精度和小数位数。
decimal:任意精度十进制算术
05-05
小数 任意精度的十进制算术。 用法 在您的mix.exs文件中添加Decimal作为依赖mix.exs ： def deps do [{ :decimal , " ~> 2.0 " }] end 接下来，在您的shell中运行mix deps.get以获取并编译Decimal 。 使用iex -S mix启动交互式Elixir Shell： iex > alias Decimal , as: D iex > D . add ( 6 , 7 ) # Decimal<13> iex > D . div ( 1 , 3 ) # Decimal<0> iex > D . new ( " 0.33 " ) # Decimal<0> 例子 使用上下文 上下文指定计算结果的最大精度，如果结果的精度高于指定的最大值，则舍入算法指定四舍五入算法。 它还包含陷阱启用器集和
Spark3性能调优（三）---Job优化
番茄薯仔
05-12 299
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（三）---Job优化，是本人的学习笔记系列文章其一。详细讲了“Job优化”方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
spark decimal(38,18)超出38限制的思考
weixin_44591926的博客
08-17 2066
spark decimal(38,18)超出38限制
spark decimal精度问题
jinruoqq的博客
10-22 1334
spark decimal精度问题
就Double、Decimal来说数据计算异常
weixin_30247159的博客
07-31 113
场景： 客户提示发料时提示库存不足，可肉眼比对发料数量与库存数量没有一点问题。 但调度跟踪却发现出现“不可思议”的异常。 简单分析： 1.转Decimal再计算没问题。精度较高，存储方法也不一样，所以数据没有丢失。 2.Double时数据丢失。精度最高，转二进制后有数据溢出，导致数据丢失。 3.根据数值，C#默认为Double，数据丢失。 总结： 读了几个帖子，C#为了支持金融...
案例分析 | 由Decimal操作计算引发的Spark数据丢失问题
茅坤宝骏氹的博客
11-08 1587
转载自案例分析 | 由Decimal操作计算引发的Spark数据丢失问题 供稿 | Hadoop Team 编辑 | 顾欣怡 本文3058字，预计阅读时间10分钟 导读 eBay的Hadoop集群上面每天运行着大量Spark计算任务。对于数据计算任务，其计算性能十分重要，数据质量也不可忽视，特别是对于金融数据，数据发生损坏将会产生严重后果。本文分享一次数据质量相关的问题以及我们排查该问题的过程和解决方案。 一、症状 一天，金融分析团队的同事报告了一个问题，他们发现在两个生产环境...
spark精度丢失，导致列查询为null的解决办法
木易巷的小博客
11-29 1521
spark.sql.decimalOperations.allowPrecisionLoss 在默认情况下配置为：true
Spark String Decimal类型引起的问题
半日闲的博客
11-24 3093
从Spark 2 到 Spark3 这期间， Spark 对于 String 和 Decimal 类型的比较会自动转换为Double 类型。这样会导致转换后的Filter 无法进行 Data Filter Pushed. 社区相关Ticket： [SPARK-17913][SQL] compare atomic and string type column may return confusing result [SPARK-22469][SQL] Accuracy problem in comp
C#中处理多位小数精度的精度问题
12-30
处理多位小数的问题，文章：https://blog.csdn.net/yysyangyangyangshan/article/details/111991588
decimal解决js精度问题的js文件
01-27
decimal解决js精度问题的js文件
（33）保证数据的精准一次性消费
song_quan_的博客
07-27 275
2.5.1 定义 ➢ 精确一次消费（Exactly-once） 是指消息一定会被处理且只会被处理一次。不多不少就一次处理。 如果达不到精确一次消费，可能会达到另外两种情况： ➢ 至少一次消费（at least once） 主要是保证数据不会丢失，但有可能存在数据重复问题。 ➢ 最多一次消费 （at most once） 主要是保证数据不会重复，但有可能存在数据丢失问题。 2.5.2 问题如何产生 ➢ 数据何时会丢失 比如实时计算任务进行计算，到数据结
SparkSQL与parquet，处理decimal类型数据时遇到的问题及注意事项
最新发布
雾岛与鲸的博客
10-11 733
Spark SQL为了更好的性能，在读写Hive metastore parquet格式的表时，会默认使用自己的Parquet SerDe，而不是采用Hive的SerDe进行序列化和反序列化。设置为true时，数据会以Spark1.4和更早的版本的格式写入。究其原因是因为按照上述两个参数的配置，testdb.item中fee_rate字段类型为decimal(10,6)，数据为0.000000，经过一系列处理0.000000最终会被处理为0，看下边最终导致空指针异常的部分，就会一目了然。
Spark3性能调优（一）---资源调优-SparkSQL语法优化
番茄薯仔
05-12 396
本篇文章是Spark3性能调优系列文章之：Spark3性能调优（一）---资源调优-SparkSQL语法优化，是本人的学习笔记系列文章其一。详细讲了“Explain 查看执行计划”、“资源调优”、“SparkSQL语法优化”几个方面的原理和实验流程，可为Spark初学者展现一定的Spark调优技巧。
spark算子执行位置研究，driver端？executor端？
zeng6325998的博客
07-24 2632
参考资料 https://cloud.tencent.com/developer/article/1545723 前言 spark算子的执行位置 driver端 还是executor端，这些之前其实没有注意过，最近在学流处理，发现这个还是很重要的，今天专门讲一下，只有好好理解了这些，针对业务才能开发出更好的代码。 具体测试 driver 和executor的作用 driver是运行用户编写Application 的main()函数的地方，具体负责DAG的构建、任务的划分、task的生成与调度等。 ex.
spark的日志监控(WEB UI 和history server)
zeng6325998的博客
03-25 2566
背景 当我们在跑一个spark任务的时候，如果碰到数据倾斜或者我们想去看下运行参数或者具体的运行情况，这时候我们就需要一个可视化的日志页面，去监控spark的运行。 (注明:大部分知识点是从官方文档翻译，少部分是自己测试，或者在实际项目中的总结。) 官方文档地址:https://spark.apache.org/docs/latest/monitoring.html 1、spark UI 默认情况...
spark的压缩使用和简单介绍
zeng6325998的博客
10-30 2476
总览 今天碰到了一个spark sql 压缩的问题，所以今天来讲一下spark的压缩 一切参考spark2.4.1版本来讲解 spark 压缩分为3块，rdd压缩 broadcast压缩 和spark sql的压缩 1、rdd 压缩 spark.rdd.compress Whether to compress serialized RDD partitions (e.g. for StorageLevel.MEMORY_ONLY_SER in Java and Scala or StorageLe
mybatis的decimal精度缺失
05-20
MyBatis 对于 MySQL 中 Decimal 类型的处理是有一些问题的，可能会导致精度缺失。主要原因是 MyBatis 默认使用 `java.math.BigDecimal` 类型来映射 MySQL 中的 Decimal 类型，而这两种类型的精度表示方式是不同的。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值