Hive计算unixtime，某些记录相差13个小时

最新推荐文章于 2021-12-23 11:13:52 发布
最新推荐文章于 2021-12-23 11:13:52 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZhouyuanLinli/article/details/80113035
版权

原因：集群中某些机器采用的是纽约时区，而有的又是上海时区，统计为上海时区

hive> set -v;

hive >set system:user.timezone=Asia/Shanghai;

后来发现退出后失效，查看操作系统的时区：

ls -l /etc/localtime

发现是纽约时区，删除

最低0.47元/天 解锁文章
源神
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sqoop导入mysql数据到hive/HDFS，timestamp类型数据改变13小时
weixin_43079984的博客
04-26 2290
这是mysql时区问题 不管差了几小时，就是时区的问题 先用date -R查询本地时区 +0800 表示是东八区 时间格式是CST时间 然后在mysql中查看时区 此时time_zone的值应该显示为SYSTEM(上图是我已经更改后的) 问题就出在这里，CST时间定义其实很混乱，很多人认为是中国标准时间，其实不然。我们要看time_zone的具体数值，需要将mysql中的time_zone改...
HIve时间函数
liuyaru11的博客
06-11 1万+
HIve 时间函数 hive时间日期函数及典型场景应用 1、hive取得当前日期时间： 1.1) 取得当前日期： select current_date(); 1.2) 取得当前日期时间： select current_timestamp(); 1.3) hive取得当前时间戳： select unix_timestamp(); 1.4) 时间戳转日期： select from_unixtime(1517725479,‘yyyy-MM-dd HH:dd:ss’); 1.5) 日期转unix时间戳： sele
Hive时间函数时区问题（坑）
weixin_38251332的博客
12-23 6632
hive的时间函数 取得当前日期 select current_date(); 取得当前日期时间 select current_timestamp(); 取得当前时间 select from_unixtime(unix_timestamp(),‘yyyy-MM-dd HH:mm:ss’); 获取的是HiveService所在操作系统RTC（时钟芯片）时间，如下 实例1： 实例2： ...
Hive 和Spark 中时间，时区转换方法
三米学习笔记杂货铺
05-19 3968
hive : hive> select unix_timestamp('2018-11-07T17:24:09.313-05:00') > ; OK _c0 NULL Time taken: 1.061 seconds, Fetched: 1 row(s) hive> select unix_timestamp('2018-11-07T17:24:09.313') ...
web访问hive速度怎么样,在Where条件中使用变量时，Hive查询运行速度非常缓慢
weixin_42363565的博客
12-22 278
This is my hive query :set s=date_add(from_unixtime(UNIX_TIMESTAMP()),-200);select * from a where dateString>=${hiveconf:s}which runs very slowly. For some reason this runs much faster:select * fro...
Spark和Hive的结合（让hive基于spark计算）
01-07
2.在spark/conf中创建一个hive-site.xml    javax.jdo.option.ConnectionURL  jdbc:mysql://192.168.224.132:3306/hive?createDatabaseIfNotExist=true  JDBC connect string for a JDBC metastore        ...
hive-udf(两地址间距离计算+省市区位置解析(Java代码))
05-07
在这个“hive-udf”项目中，我们主要探讨的是如何利用Java编写UDF来实现两个地址间的距离计算以及省市区位置的解析。 首先，地址转换成经纬度是计算距离的基础。地理坐标系统通常使用经度和纬度来定位地球上任意...
Hive:一个开放的、基于docker的共享计算工具
06-17
自述文件概括Django 开放式计算工具版本：0.1 Hive 是一个试图帮助其他需要计算能力的项目的项目。 它是一个网络平台 ( )，它试图让任何人都可以使用高性能集群。 本项目使用docker运行计算程序。 这允许使安装过程...
hive jdbc驱动 2.5.15 及 2.6.1两个版本
01-26
Hive JDBC驱动是连接Hadoop生态系统中的Hive数据仓库的重要桥梁，它允许用户通过Java数据库连接（JDBC）标准来访问Hive。在Hive 2.5.15和2.6.1这两个版本中，都包含了对Hive查询语言（HQL）的支持以及对大数据处理的...
13-Hive基本操作1
08-08
Hive支持创建索引以优化查询性能，但这个功能并不广泛使用，因为Hive主要针对大数据的离线分析。 11. **表的分区和桶**： 分区允许将大表逻辑上划分为更小的部分，以便于查询优化。例如，`CREATE TABLE my_table ...
Hive中获取当前时间、计算时间差
象在舞的技术专栏
06-05 2万+
1、Hive中获取当前的时间：select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss')2、Hive中计算时间差：select datediff('2018-06-04','2018-06-05');
hive中日期与时间戳转换
热门推荐
shuangshaung_的博客
12-13 13万+
从1970-01-01 00:00:00 UTC到指定时间的秒数。 总结：时间戳到日期时间，日期时间到时间戳，日期时间到日期。 获取时间戳：select distinct unix_timestamp() from test_date; 时间戳>>>>日期：select distinct  from_unixtime(1441565203,'yyyy/MM/dd HH:mm:
mysql数据库插入时间与系统时间相差12小时
提笔不为风雅
09-28 1万+
mysql数据库插入时间与系统时间相差12小时问题出现缘由解决方法1. 修改JVM时间结果2.修改catalina.sh文件结果 问题出现缘由 今天发现Java后端用new Date()获取到的时间插入到mysql时候却相差了12个小时。前提是系统时间正常，数据库时间正常(此处的正常是指时区为北京时区，数据库时间也设置GMT+8)，排除了以上两个可能出现问题的可能性之后。后来发现tomcat启动打...
HIVE时间戳错误unix_timestamp时间不同环境相差8小时
leys123的专栏
01-15 4136
今天在迁移项目时，发现HIVE中unix_timestamp得到的时间在测试环境和线上环境不一致，相差8小时。 遂拿时间转换语句 select from_unixtime(unix_timestamp(), 'yyyy-MM-dd HH:mm:ss') ; 去测试环境和线上环境测试： 测试环境： 同样的命令去线上环境查看： 发现确实相差8小时，这是为什么呢？ 语句都一样，猜测可能是环境版本不一样导致，遂立即查询两环境hive版本： 测试环境：2.1.1 线上环境： ...
善用mysql中的FROM_UNIXTIME()函数和UNIX_TIMESTAMP()函数
weixin_30471561的博客
11-30 3831
　　我们经常会面临要从数据库里判断时间，取出特定日期的查询。但是数据库里储存的都是unix时间戳，处理起来并不是特别友好。幸而MYSQL提供了几个处理时间戳的函数，可以帮助我们在查询的时候，就将时间戳格式化。用法举例如下： 1.FROM_UNIXTIME()函数 FROM_UNIXTIME(unix_timestamp,format) 参数unix_timestamp 时间戳 可以用数据库...
巧用Mysql中的FROM_UNIXTIME进行按天查询
amazingdyd的博客
02-12 2844
近期做了一套战绩系统，战绩要按天查询，每天赢了多少分，打了多少局都要列出来。可是，怎么用sql进行按天分组呢？首先，我们的表里要确认已经有了时间戳（int(10)），我这里用的是create_time。接下来，开始编辑语句FROM_UNIXTIME函数支持转换时间戳为字符串，我们把时间戳转换为日期FROM_UNIXTIME( create_time, '%Y年%m月%d日' )然后，根据这个日期分...
Hive时间戳TIMESTAMP使用的限制
日进一步
06-10 3万+
在Hive中提供了字段类型TIMESTAMP，但其对应的时间格式为yyyy-MM-dd HH:MM:SS，即通过LOAD命令将文本加载到已创建的表中时，只有满足上述格式的内容才可以被正确解析，否则只能识别为NULL。1.        创建表。create table airline ( Yyear double, Tt double, W double, R double, L do...
Hive经排序后查询前N条记录
lanfengchalan的博客
02-21 2万+
分组排序获得前n条数据
hive 计算两个日期相差多少小时
最新发布
05-09
Hive中可以使用unix_timestamp和from_unixtime函数计算两个日期之间的时间差。假设你有两个时间戳字段start_time和end_time，你可以使用如下语句计算它们之间相差的小时数： ``` SELECT (unix_timestamp(end_time) - unix_timestamp(start_time)) / 3600.0 AS diff_hours FROM your_table; ``` 其中，unix_timestamp函数将时间戳转换为Unix时间戳（即距离1970年1月1日00:00:00以来的秒数），而from_unixtime函数则将Unix时间戳转换为日期时间格式。需要注意的是，这里除以3600.0是因为一小时等于3600秒。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值