UTC时间、GMT时间、CST时间（北京时间）、时间戳

一、几个时间相关的概念。

GMT时间：Greenwich Mean Time，格林尼治平时，又称格林尼治平均时间或格林尼治标准时间。是指位于英国伦敦郊区的皇家格林尼治天文台的标准时间。

GMT存在较大误差，因此现在已不再被作为标准时间使用。现在的标准时间，是由原子钟报时的协调世界时（UTC）

UTC时间：Universal Time Coordinated，中文名称：世界标准时间或世界协调时。

UTC时间可以理解为全世界都公用的一个时间。它实际上反映了一种约定，即为全世界所认可的一个统一时间，而不是某特定地区的时间。

中国人常用的北京时间比UTC时间快8个小时。也即UTC时间凌晨0点时，北京时间已经是早上8点，这就是为啥全世界人往往不直接用UTC时间计时原因。

CST时间：China Standard Time，即中国标准时间。在时区划分上，属东八区，比协调世界时早8小时，记为UTC+8。

UNIX时间戳（timestamp）：计算机中的UNIX时间戳，是以GMT/UTC时间1970-01-01T00:00:00为起点，到当前具体时间的秒数(不考虑闰秒)。这样做的目的，主要是通过“整数计算”来简化计算机对时间操作的复杂度。

二、Linux 中几种时间的操作与转化

2.1、获取当前系统时区

可以通过 date +%Z 或者 timedatectl

[root@chb1 ~]# date +%z
+0800
[root@chb1 ~]# 

查看时区配置文件

2.2、获取本地时间

[root@chb1 ~]# date
Sat Apr 22 12:14:21 CST 2023
[root@chb1 ~]# date +'%Y-%m-%d %H:%M:%S.%s'
2023-04-22 12:14:22.1682136862
[root@chb1 ~]# 

2.3、获取 UTC 时间

# -u 获取 utc 时间
[root@chb1 ~]# date +'%Y-%m-%d %H:%M:%S.%s' -u
2023-04-22 04:15:36.1682136936  
# 与 本地时间相差八小时
[root@chb1 ~]# 

本地时间和utc时间相差八小时

[root@chb1 ~]# date; date -u
Sat Apr 22 12:16:47 CST 2023
Sat Apr 22 04:16:47 UTC 2023
[root@chb1 ~]# 

2.4、获取时间戳，不管是UTC时间还是北京时间 时间戳都是一样

是以GMT/UTC时间1970-01-01T00:00:00为起点，到当前具体时间的秒数(不考虑闰秒)

[root@chb1 ~]# date; date -u
Sat Apr 22 12:16:47 CST 2023
Sat Apr 22 04:16:47 UTC 2023

[root@chb1 ~]# date +%s;date +%s -u
1682137420
1682137420

2.5、将时间戳转为 时间字符串

[root@chb1 ~]# date -d @1682137164
Sat Apr 22 12:19:24 CST 2023
[root@chb1 ~]# date -d @1682137164 +'%Y-%m-%d %H:%M:%S.%s'
2023-04-22 12:19:24.1682137164
[root@chb1 ~]# date -d @1682137164 +'%Y-%m-%d %H:%M:%S.%s' -u
2023-04-22 04:19:24.1682137164

三、SparkSQL

3.1、获取时间戳

3.1.1、UNIX_TIMESTAMP

spark-sql>  select UNIX_TIMESTAMP(), -- 当前的时间戳  
         >  UNIX_TIMESTAMP('1970-01-01', 'yyyy-MM-dd'), -- 指定本地时间转为时间戳
         >  UNIX_TIMESTAMP('1970-01-01T00:00:00Z', "yyyy-MM-dd'T'HH:mm:ssX"), -- utc时间转为时间戳
         >  UNIX_TIMESTAMP('1970-01-01 00:00:00 UTC', "yyyy-MM-dd HH:mm:ss z") -- utc时间转为时间戳
         >  ;
1682168617      -28800  0       0
Time taken: 0.077 seconds, Fetched 1 row(s)
spark-sql> 

问题： 如果 UTC 时间有 纳秒， UNIX_TIMESTAMP

spark-sql> select UNIX_TIMESTAMP('1970-01-01 00:00:23.123456789 UTC', "yyyy-MM-dd HH:mm:ss.SSS z");
NULL  -- 返回空值
Time taken: 0.097 seconds, Fetched 1 row(s)
spark-sql> 


解决
select UNIX_TIMESTAMP(
			concat_ws(' ', 
				substr('1970-01-01 00:00:23.123456789 UTC', 0,19),  -- yyyy-MM-dd HH:mm:ss
				substr('1970-01-01 00:00:23.123456789 UTC', 31)),   -- UTC
			"yyyy-MM-dd HH:mm:ss z"
		)  -- 时间戳 秒值
			* 1000000000  -- 转为纳秒
			+ cast (substr('1970-01-01 00:00:23.123456789 UTC', 21,9) as bigint)  -- 截取纳秒
;

注意 时间的格式 https://spark.apache.org/docs/latest/sql-ref-datetime-pattern.html

3.1.2、to_unix_timestamp

spark-sql>  select
         >  to_unix_timestamp('1970-01-01', 'yyyy-MM-dd'), -- 指定本地时间转为时间戳
         >  to_unix_timestamp('1970-01-01T00:00:00Z', "yyyy-MM-dd'T'HH:mm:ssX"), -- utc时间转为时间戳
         >  to_unix_timestamp('1970-01-01 00:00:00 UTC', "yyyy-MM-dd HH:mm:ss z") -- utc时间转为时间戳
         >  ;
-28800  0       0

3.2、 时间戳转为指定时间字符串

from_unixtime(unix_time[, fmt])	Returns `unix_time` in the specified `fmt`.


spark-sql>  select from_unixtime(0),
         >  from_unixtime(0, 'yyyy-MM-dd HH:mm:ss'),
         >  from_unixtime(0, 'yyyy-MM-dd HH:mm:ss z');
1970-01-01 08:00:00     1970-01-01 08:00:00     1970-01-01 08:00:00 CST

3.3、UTC时间与其他时间转化

3.3.1、to_utc_timestamp 指定时间的时间转为 UTC 时间

to_utc_timestamp(timestamp,  -- 指定时间
				timezone) 	 -- 指定分区


spark-sql> SELECT to_utc_timestamp('1970-01-01', 'PRC');
1969-12-31 16:00:00

spark-sql>  SELECT to_utc_timestamp('1970-01-01 00:00:00.123456789', 'PRC');
1969-12-31 16:00:00.123456

3.3.2、from_utc_timestamp 将utc时间 转为指定时区时间

from_utc_timestamp(timestamp,  		-- utc时间 
				   timezone)        -- 目的时间

spark-sql> select from_utc_timestamp('1970-01-01 00:00:23', 'PRC');
1970-01-01 08:00:23

-- 错误使用
spark-sql>  select from_utc_timestamp('1970-01-01T00:00:00Z', 'PRC');
1970-01-01 16:00:00
spark-sql>  select from_utc_timestamp('1970-01-01 00:00:00 UTC', 'PRC');
1970-01-01 16:00:00