Hive中SUM结果不对的Bug记录

最新推荐文章于 2023-09-07 11:07:10 发布
最新推荐文章于 2023-09-07 11:07:10 发布
阅读量4k 收藏 3
点赞数 2
分类专栏： Hive 文章标签： Hive Sum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/i000zheng/article/details/80733413
版权

SUM之后的结果变小

sum一个表的结果，和直接sum子查询返回的结果不一致。

检查发现是表使用了bigint字段，sum之后返回的数值是科学计数法，再转回bigint的时候会出错，返回null值。从而漏掉统计部分数据

i000zheng
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive count,sum 使用与扩展
BITDDD小栈
01-05 2416
一.引言 有一批市场的用户购买数据，希望进行相关分析： Table:user_action_in_market 字段：user 、gender、shop_list、buy、cost、dt 字段分别代表购买用户，用户性别(f,m)，用户购买商品列表(逗号分割 A,B,C...)，是否购买(true, false)，花费(￥)与日期(dt)，若没有购买则购买商品列表为空 二.count，sum基础用法 1.相同点 count,sum都是统计汇总函数，相同点都是用来求和 2.不同点 =&..
关于hive当中的double的数据类型
u011250186的博客
08-05 4043
最近发现通过sqoop将oracle数据库当中的数据到如到hive当中，发现oracle数据库当中number类型的数据变成了hive当中的double类型。不只是变成了double类型，数据好像稍微有点变化。 比如原来的：3769.14 变成了3769.1399999999999 ，还有就是1737.66 变成了1737.6600000000001 貌似有点数据变小了，有的数据变大了 这个是什么原因那， 产生如上结果原因为： a) 对于所有使用IEEE标准进行浮点编码系统中，都普遍存在如下问...
hive 不以科学计数法输出
热门推荐
大数据训练营
03-30 2万+
1.原始的sql: sum(online_time) num 输出: 小R 2.6014523E7 中R 3881104 大R 356963 2.转换后的sql: cast(sum(online_time) as bigint) num 输出: 小R 26014523 中R 3881104 大R 356963
Hive科学技术法转换
xiaoleilei666的博客
12-01 3729
一、需求描述 今日下午在对hive库表进行数值统计，发生一件很有意思的一件事，统计求和的结果出现科学技术法。 出现的原因待核查，因为主要是我的字段设置是字符串类型string。所以有点费解其实… 二、解决方案 我这边主要利用的是Hive函数中regexp_extract、regexp_replace以及rpad三个组合完成本次的科学技术法转换操作。 函数语法介绍 ·函数名称：正则表达式解析函数 ·语法1：regexp_extract(string subject, string pattern, in
SUM(A)+SUM(B)和SUM(A+B)不相等问题踩坑
初阳
12-14 2511
null值在聚合函数中的处理和影响
Hive中查询操作
01-20
starting with Hive 0.13.0) SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE...
Apache Hive 中文手册_hive_
10-04
Apache Hive 是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供...
如何在python中写hive脚本
09-18
此外，为了显示查询结果的表头，可以在Hive脚本中添加`set hive.cli.print.header=true;`，或者在Python代码中动态设置： ```python hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev....
Hive编程指南 中文高清
12-11
中文高清 Hive编程指南，可以更深入的理解hive机制，进行Hive优化
idea中通过spark访问hive
01-07
IDEA中使用Spark SQL 连接Hive 折腾了两个小时，好久没有弄了，记录一下 一、复制hive-site.xml 复制hive-site.xml到idea工程中的resource目录下 二、在windows中安装hadoop并配置环境变量 1、解压hadoop 2、修改...
【hive】关于浮点数比较的问题
weixin_30411819的博客
10-12 614
当在hive中写下浮点数(例如:0.2) hive会把浮点数(0.2)存储为double类型 但是系统中并不能精准表示0.2这个浮点数 正确的浮点数表示 float 0.2 —> 0.2000000 double 0.2 —> 0.200000000000 但是系统中表示为 float 0.2 —> 0.2000001 double 0.2 —> 0.2...
MySql分组、聚合、统计查询结果不对解决办法
最新发布
m0_54009761的博客
09-07 805
【代码】MySql分组、聚合、统计查询结果不对解决办法。
从datax增量同步数据后，执行hive count统计与实际数据不一致
qq_42396440的博客
05-18 540
执行hive count统计与实际数据不一致
HIVE优化
LH0912666的博客
06-12 274
一，join优化 join查找操作的基本原则：应该将条目少的表/子查询放在join操作符的左边。原因是在join操作的reduce阶段，位于jion操作符左边表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的join合并到一个m...
hive数据精度问题
super的博客
03-22 1万+
工作用遇到hive查询中sum数据精度丢失问题。问题描述:公司大数据组把线上数据库表的类型简单粗暴的设置为string类型了，我在hive上做算数运算时精度丢失。处理方案：使用cast（table.column_name as decimal(38,2)） 将string类型转换成decimal（38,2）为保留两位小数。另外还使用了下regexp正则。case when orders.name ...
【HIVE】窗口函数中数据窗口BUG
喜东东的博客
12-06 474
一、问题 1. 单独使用窗口函数sum() over() 计算rows between 1 following and 3 following（假设当前行为x, 数据框应为[x+1, x+3]）时，计算结果错误。 sum(value) over(partition by name order by sortcol rows between 1 following and 3 followin...
hive 如何处理科学计数法
sunlei1980的专栏
06-26 1万+
说明：Hive中int , float , double这些数值类型在存储大额度数字时，在前端展现上总是使用科学计数法来表示， 这样搞的挺烦。举例说明 样例数据： select lte_drop_rate from t_table limit 10; 输出结果： 5.0E-4 7.1E-4 5.41E-4 ... ... 处理方案： select  (case  
hive中计算精度 double和decimal 的精度差异示例
沉迷数据无法自拔
11-04 1万+
hive中计算精度 double和decimal 的精度差异示例 1、hive将字符串默认转换成double类型进行计算 执行一下代码： explain select '0.0407'*2500 -->10.1749999999 执行计划 - 可以看到，hive将字符串 ‘0.0407’ 转换成 double类型，最终输出值是： 10.1749999999 2、将字符转换成decimal后再计算 执行下面代码： explain select cast（'0.0407' as dec
hive 中 sum(2)是什么意思
05-30
在 Hive 中，`sum(2)`表示对数值 2 进行求和操作。然而，由于 `sum()` 函数通常用于对一列数值进行求和，如果在 `sum()` 函数中只提供了一个单独的数值作为参数，它会被解释为一个常量列，该列只包含该数值，并且该...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值