0472-Hive中TimeStamp精度问题分析

最新推荐文章于 2024-05-05 11:59:43 发布
最新推荐文章于 2024-05-05 11:59:43 发布
阅读量2.8k 收藏
点赞数
分类专栏： Hadoop实操
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hadoop_SC/article/details/104095986
版权
本文介绍了在Hive中处理时间戳精度问题的方法，包括如何获取毫秒级时间戳，以及如何将毫秒级时间戳转换为日期类型，确保时间精度不丢失。主要涉及函数current_timestamp(), unix_timestamp(), from_unixtime() 和 to_utc_timestamp()的使用。" 79504041,4836365,自动备份与删除超大文件并发送邮件通知,"['Linux运维', '文件管理', '自动化', '邮件服务', '脚本编程']
摘要由CSDN通过智能技术生成

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github：
https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1

文档编写目的

Hive中使用TimeStamp时，时间戳默认是精确到秒的，那在Hive中如何处理需要精确到毫秒的时间戳呢？本篇文章Fayson主要说明下Hive时间戳的转换及使用。

  • 测试环境

1.RedHat7.2

2.CM和CDH版本为5.15.0

2

Hive中TimeStamp获取及转换

1.Hive中使用current_timestamp()函数获取当前时间

select current_timestamp();

使用Hive的current_timestamp()函数获取到当前的时间精确到毫秒。

2.Hive中获取当前时间戳，默认使用unix_timestamp()函数


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Hadoop_SC
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
【Hive】时间函数unix_timestamp、current_timestamp、date_format、from_unixtime

				
			

			

				

					Badme
				

				

					05-27
					
					2154
					
				

			

		

		

			
				
【Hive】时间函数unix_timestamp、current_timestamp、date_format、from_unixtime

			
		

	



                

              
                



	

		

			

				
					
比较某两个时间的时间戳相等

				
			

			

				

					weixin_34007291的博客
				

				

					03-13
					
					2313
					
				

			

		

		

			
				
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>时间戳相等</title>
</head>
<body>

</body>
</html>
<script>
 ...

			
		

	



                


  
              

                


	

		

			

				
					
062 hive中的常用方法（case，cast，unix_timestamp）

				
			

			

				

					weixin_34414650的博客
				

				

					11-18
					
					191
					
				

			

		

		

			
				
1.case的用法
　　）格式1
　　　　case col
　　　　when value then ''
　　　　when value then ''
　　　　else 
　　　　　　''
　　　　end
　　)格式2
　　　　case
　　　　when col='value' then ''
　　　　when col='value' then ''
　　　　else
　　　　　　''
　　　　e...

			
		

	





	

		

			

				
					
hive将时间字符串转换为timestamp的几种写法

					
最新发布

				
			

			

				

					qq_26432153的博客
				

				

					05-05
					
					1301
					
				

			

		

		

			
				
hive将时间字符串转换为timestamp的几种写法

			
		

	



		

			
		



	

		

			

				
					
hive时间戳格式化

					
热门推荐

				
			

			

				

					赶路人儿
				

				

					03-09
					
					1万+
					
				

			

		

		

			
				
1、from_unixtime()函数：
语法：from_unixtime(t1,'yyyy-MM-dd HH:mm:ss')
其中t1是10位的时间戳值，即1970-1-1至今的秒，而13位的所谓毫秒的是不可以的。
对于13位时间戳，需要截取，然后转换成bigint类型，因为from_unixtime类第一个参数只接受bigint类型。例如：
select from_unixtime(c

			
		

	





	

		

			

				
					
大数据学习-Hive

				
			

			

				

					XiaoQi's Blog
				

				

					08-17
					
					634
					
				

			

		

		

			
				
大数据-Hive

			
		

	





	

		

			

				
					
【Hive-Hive函数大全】Hive函数的语法使用和举例描述

				
			

			

				

					weixin_53543905的博客
				

				

					03-03
					
					1052
					
				

			

		

		

			
				
比如，M 是值为{‘f’ -> ‘foo’, ‘b’ -> ‘bar’, ‘all’ -> ‘foobar’}的 map 类型，那么 M[‘all’]将会返回’foobar’说明：count(*)统计检索出的行的个数，包括 NULL 值的行；比如，A 是个值为[‘foo’, ‘bar’]的数组类型，那么 A[0]将返回’foo’,而 A[1]将返回’bar’partToExtract 的有效值为：HOST， PATH，QUERY，REF，PROTOCOL，AUTHORITY，FILE，USERINFO。

			
		

	





	

		

			

				
					
离线数仓----以及---hive的一些琐碎

				
			

			

				

					weixin_45150724的博客
				

				

					04-03
					
					1071
					
				

			

		

		

			
				
1.如何使用datagrip连接hive呢?
启动起hadoop集群，然后启动hiveserver2.，然后就可以用datagrip了。
2.数仓中增加字段怎么办?
1.整个数仓有几张要增加字段的，就执行改几张，分区表改的时候有些区别。
2.这种方法有时候不太保险，最好的是，对应的表你重建一张表，把原来表的数据into进去，新加字段补null。
//因为原来的表中没有新添加的额那个字段，所以给新添加的按个字段赋值为null。
就像这样。
insert overwrite 新表
select * ，null 

			
		

	





	

		

			

				
					
大数据学习之路-Hive

				
			

			

				

					weixin_43441789的博客
				

				

					03-09
					
					747
					
				

			

		

		

			
				
Hive1. Hive基本概念1.1 什么是Hive1.2	Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和 数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive安装2.1 Hive安装地址2.2	MySql安装2.3 Hive安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到MySql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动Hive2.5.

			
		

	





	

		

			

				
					
hive sql 时间比较、小数点为位

				
			

			

				

					笔记小屋
				

				

					09-24
					
					4313
					
				

			

		

		

			
				
时间比较
转化成时间戳比较，这是比较简单的，但是要考虑是秒级别的比较还是 毫秒级别的比较，这个要看你的时间值：
pay_time > unix_timestamp(date_sub(from_unixtime(unix_timestamp()),7),'yyyy-MM-dd HH:mm:ss')*1000

上述是根据当前时间 7天的毫秒级别时间戳来比较时间，
小时点位数
cast((a- ...

			
		

	





	

		

			

				
					
HIVE Timestamp类型

				
			

			

				

					wertd_fgegg的博客
				

				

					08-17
					
					1063
					
				

			

		

		

			
				
hive timestamp类型常见用法

			
		

	





	

		

			

				
					
【hive 】时间差（天、小时、分、秒）和常用时间格式转

				
			

			

				

					biqidaoer的专栏
				

				

					09-18
					
					2701
					
				

			

		

		

			
				
unix_timestamp()是hive系统时间，格式是timestamp，精确到秒。unix_timestamp(ymdhms)是把时间转换成timestamp格式，是2018-05-23 07:15:50格式。unix_timestamp() - unix_timestamp(ymdhms)是两个时间转换为timestamp之后相减，timestamp单位是秒，相减之后是两个时间之间相差的秒数。

			
		

	





	

		

			

				
					
hive 把时间转换成时间戳比较时间大小

				
			

			

				

					sinat_18558057的博客
				

				

					12-08
					
					3822
					
				

			

		

		

			
				
在判断活动是否在活动时间范围内时候，遇到了
2021-11-30 09:50:29
2021-11-30 00:00:00
2021-12-01 00:00:00
这类时间格式不能对比大小的情况
以下是把时间转换成时间戳，和把时间戳转化成时间
--把时间转成时间戳
select unix_timestamp(cast('2021-11-30 09:50:29' as timestamp),'yyyy-mm-dd hh:mm:ss') t1, unix_timestamp(cast('2021-11-30 0

			
		

	





	

		

			

				
					
hive中对日期时间的操作

				
			

			

				

					qq_42456324的博客
				

				

					07-05
					
					2082
					
				

			

		

		

			
				
获取当前日期


selectcurrent_date;
返回 2021-07-05

获取当前的时间


selectcurrent_timestamp;

返回2021-07-0517:00:29.865

返回日期部分


selectto_date('2021-07-0510:03:32')

返回2021-07-05

对时间进行相应的格式转化


selectdate_format('2015-04-0810:10:01','yyyy-......

			
		

	





	

		

			

				
					
Hive使用CURRENT_TIMESTAMP()函数少8小时问题(已解决)

				
			

			

				

					qq_45850643的博客
				

				

					05-08
					
					4757
					
				

			

		

		

			
				
-- 获取当前日期 UTC 默认时区
SELECT CURRENT_TIMESTAMP() def


-- 假设给定的时间戳是UTC并转换为给定的时区（从Hive 0.8.0开始）UTC 默认时区 转为 GMT+8 上海时区
SELECT from_utc_timestamp(CURRENT_TIMESTAMP,'GMT+8') from_utc


-- 假设给定时间戳在给定时区内并转换为UTC（从Hive 0.8.0开始） 设置为GMT-8 时区 再转为 UTC 默认时区
SELECT to_utc_

			
		

	





	

		

			

				
					
hive sql 中时间函数（未完待续）

				
			

			

				

					BiuFEIMIR的博客
				

				

					04-23
					
					548
					
				

			

		

		

			
				
Part 1 时间戳相关

1.获取当前时间戳


--例如：
select unix_timestamp()   --1565858389

2.时间转换成时间戳


--输入的时间戳格式必须为'yyyy-MM-dd HH:mm:ss'，并且为String类型
select unix_timestamp('2019-08-15 16:40:00')   --1565858400

3.时间戳转换成时间


--例如：
select from_unixtime(1565858389,'yyyy-MM-dd.

			
		

	





	

		

			

				
					
Hive SQL时间函数及用法

				
			

			

				

					weixin_38251332的博客
				

				

					08-29
					
					5961
					
				

			

		

		

			
				
函数： last_day(string date)返回值：string返回该日期所属的月份的最后一天(截至Hive 1.1.0)。date为字符串，格式为“yyyy-MM-dd HH:mm:ss”或“yyyy-MM-dd”。日期的时间部分被忽略。

			
		

	





	

		

			

				
					
hive用timestamp类型的时间与string类型比较大小时遇到的坑

				
			

			

				

					蒙奇D路飞
				

				

					07-07
					
					6960
					
				

			

		

		

			
				
SELECT 
    date_format(a.start_time, 'yyyy-MM-dd') AS `date`,
    COUNT(*) AS `排课课节数`,
    SUM(a.stu_num) AS `排课学生人次`,
    count(case when a.category=0 then 1 end) as `1v1课节数`,
    sum(case when a.category=0 then a.stu_num end) as `1v1学生人次`,
    count(cas

			
		

	





	

		

			

				
					
Hive中的数据类型

				
			

			

				

					05-03
				

			

		

		

			
				
Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HiveQL来操作和管理大规模的分布式数据。在Hive中，支持多种数据类型，包括以下几种常见的数据类型：

1. 布尔型（BOOLEAN）：表示逻辑值，可以是true或false。

2. 整型（INT）：表示整数值，占用4个字节。

3. 长整型（BIGINT）：表示长整数值，占用8个字节。

4. 浮点型（FLOAT）：表示单精度浮点数，占用4个字节。

5. 双精度浮点型（DOUBLE）：表示双精度浮点数，占用8个字节。

6. 字符串型（STRING）：表示字符串值，使用单引号或双引号括起来。

7. 时间戳型（TIMESTAMP）：表示日期和时间值，以'YYYY-MM-DD HH:MM:SS'的格式表示。

8. 日期型（DATE）：表示日期值，以'YYYY-MM-DD'的格式表示。

9. 数组型（ARRAY）：表示一组相同类型的元素的集合。

10. 结构体型（STRUCT）：表示一组字段的集合，每个字段都有一个名称和一个数据类型。

11. 映射型（MAP）：表示一组键值对的集合，其中键和值可以是不同的数据类型。

这些数据类型可以用于创建Hive表的列，并在HiveQL中进行数据操作和查询。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值