hive中浮点型数据计算精度丢失

最新推荐文章于 2022-11-16 14:34:55 发布
最新推荐文章于 2022-11-16 14:34:55 发布
阅读量3.8k 收藏 6
点赞数
分类专栏： SQL 大数据 # hive 文章标签： hive 大数据 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luo981695830/article/details/113104407
版权
大数据 同时被 3 个专栏收录
47 篇文章 12 订阅
订阅专栏
hive
40 篇文章 20 订阅
订阅专栏
SQL
17 篇文章 1 订阅
订阅专栏

举例：无限小数保留几位

说明：hive中round函数用于保留小数位，最后一位四舍五入

结果：double类型计算结果精度丢失

原因：round函数返回值是保留几位小数的double类型，虽然是保留几位，但浮点型的长度还在，所以二次计算时就会发生精度丢失

解决办法：将round函数返回值强转成decimal

扩展：hive函数值返回值是浮点型的，发生精度丢失时，可以采取类似办法

测试过程如下：

 

罗少说
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
Hive：substr+ concat函数
数据分析阿宇君的博客
04-03 1437
1. substr函数 select concat(substr(day,1,4),'-',substr(day,5,2),'-',substr(day,7,2)) as daystring, uid from a substr(day,1,4)表示将day从第1位开始截取，截取的长度为4位，hive的第一个下标是1不是0。 2. hive：concat函数 concat(...
常用的hive sql函数总结
Linzhongyilisha的专栏
04-26 1万+
1.nvl(x,y)   Returns y if x is null else return x 2. string A || string B || …(同concat函数) 3.T decode(条件,值1,返回值1,值2,返回值2,...值n,返回值n,缺省值) 4.int  INSTR((string,str[,start][,appear])    返回string
hive 脚本测试时候注意 double 和 decimal 的精度差异示例
m0_37847964的博客
11-16 1661
亲爱的小伙伴们，在涉及到金额或者精度要求较为高的场景的时候，特别注意乘法和除法，数据的类型和类型之间的转换问题，此例子就是在下遗漏的一个BUG，对于这种隐深的问题开发和测试都很难发现，但是这次也是一次累积和更深刻理解一些hive-sql的知识。
在Hive中使用过的函数记录（百分比、截取字符串、分组TOP N、日期转换、日期是第几周）
热门推荐
[email protected]
04-10 1万+
1、显示百分比形式 -- 保留小数点后四位 * 100，连接% concat(round(x/y, 4) * 100, '%') 例： 2、取出日期年月 -- 截取字符串 substr(ord_dt, 1, 6) 例： 3、分组后，从每个组内取出各自的TOP N row_number() OVER (partition by COL1 order ...
hive中计算精度 double和decimal 的精度差异示例
沉迷数据无法自拔
11-04 1万+
hive中计算精度 double和decimal 的精度差异示例 1、hive将字符串默认转换成double类型进行计算 执行一下代码： explain select '0.0407'*2500 -->10.1749999999 执行计划 - 可以看到，hive将字符串 ‘0.0407’ 转换成 double类型，最终输出值是： 10.1749999999 2、将字符转换成decimal后再计算 执行下面代码： explain select cast（'0.0407' as dec
hive 整形(bigint)和decimal类型相加丢精度的问题
时刻学习
06-22 1210
在hive中计算收入出现的一个问题：收入计算公式是若干个数据项相加，total_income = income_a+income_b+income_c+......有的数据项原本就是整形，不带小数点的，表结构里面此项是bigint类型。有的数据项就是带小数点的，设置的decimal(18,2)。当这些数据项相加的时候，总收入却是整形。bigint+decimal(18,2) --->bigint，而且不是把bigint强制转换为decimal后再和其他项相加之后再四舍五入得来的整形。所以这里需要注意的是如果
Hive SQL中浮点数比较大小：double与float比较大小
海若_matrix的博客
11-30 6764
1.hive浮点数比较规则 hive浮点数比较规则依照java规则，当float和doule进行比较时，会统一转换为double进行比较。 float精度不如double高 比如同样是0.2 float可能会表示成0.200001(实际精度会更高，此处仅说明原理) 而double则会表示成0.20000000000001(实际精度会更高，此处仅说明原理) 所以0.2f 不等于0.2d 2.问题描述 0.2f与0.2d进行比较 在hive中对float和double类型的0.2进行了比较，说明二者不相..
Hive基础
Wilson的专栏
03-25 527
primitive type TINYINT 1byte的长度，通过后缀Y声明，如:13Y。 SMALLINT 2byte长度，通过后缀S声明，如14S。 INT 4byte长度，普通数字默认为INT FLOAT 4byte单精度浮点数 DOUBLE 8byte双精度浮点数 DECIMAL 可指定精度的浮点数，默认精度为decimal(10,0) BINARY 二进制数
hive decimal计算出现null或者精度丢失
cclovezbf的博客
04-02 5382
hive decimal计算出现null或者精度丢失
大数据 hive 实战数据
04-07
包含video user数据
Hive数据仓库之垃圾分类数据分析系统
最新发布
08-14
（3）sqoop数据迁移，完成HIve与MySQL数据库中的数据交互 （4）Echarts搭建动态可视化大屏 （5）SpringBoot搭建可视化后台系统，完成前端与后台的数据传递与交互。 （6）基于Cenots7 搭建虚拟机，配置Hadoop、HDFS、...
数据仓库中的SQL性能优化（Hive篇）
01-30
一个Hive查询生成多个map reducejob，一个mapreducejob又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对...
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
waterdrop介绍
luo981695830的博客
09-23 1万+
Waterdrop Waterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。 Waterdrop尽所能为您解决可能遇到的问题： 数据丢失与重复 任务堆积与延迟 吞吐量低 应用到生产环境周期长 缺少应用运行状态监控 Waterdrop 使用场景 海量数据ETL 海量数据聚合 多源数据处理 Waterdrop 的特性 简单易用，灵活配置，无需开发 实时流式处理 高性能 海量数据处理能力 模块化和插件化，易于扩
hive——lag函数使用
luo981695830的博客
12-15 1万+
环境 hive2.x 主要内容 lag函数 应用场景 对某个字段排序，对排序后的结果计算相邻行的差值 模型 diff_age(id string,age int) ("1",10) ("2",30) ("3",100) 中间过程测试 #求相邻id年龄插值 select id, age, lag(age,1,0) over(order by age) as syh from diff_age ; -- 结果是全部是Null select id, age, l.
DataSophon——国产开源一站式运维平台
luo981695830的博客
11-13 1万+
DataSophon——国产开源一站式运维平台
大数据之hive——元数据初始化
luo981695830的博客
03-03 7844
元数据初始化命令： schematool -dbType mysql -initSchema 控制台日志 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/sweet/software/apache-hive-2.3.6-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.cla
全网最详细的ambari集群搭建详细步骤
luo981695830的博客
05-01 7563
1、服务器环境说明 集群三台节点 可以互相访问 使用root用户 配置免密 centos7 ambari-2.6.2.2 hdp-2.6.5 我的环境如下： 192.168.8.105 my-hdp1 192.168.8.106 my-hdp2 192.168.8.107 my-hdp3 2、防火墙设置 #查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stop firewalld #设置防火墙服务开机不自启 system.
浮点型数据在hive用什么建表
05-30
在 Hive 中，可以使用 FLOAT 或 DOUBLE 数据类型来表示浮点型数据。在建表时，可以使用以下语法来指定一个列为浮点型数据类型： ``` CREATE TABLE table_name( column1_name FLOAT, column2_name DOUBLE, ... ) ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

罗少说

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值